###### tags: `★ paper survey`
# SIGGRAPH 2020
### RGB++: Depth, 3D, and Light Fields
- [CONSISTENT VIDEO DEPTH ESTIMATION](https://dl.acm.org/doi/10.1145/3386569.3392377)
- 【深度估計】
- 從單眼的影片中恢復深度訊息，訓練CNN用於估計單張圖像之深度。
- 
- Publication : ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3386569.3392377)

- [Noise-Resilient Reconstruction of Panoramas and 3D Scenes Using Robot-Mounted Unsynchronized Commodity RGB-D Cameras](https://dl.acm.org/doi/10.1145/3389412)
- 【場景重建】
- 透過掃描全景圖，針對大型室內場景進行抗噪3D重建，分成 panorama construction 與 panorama integration 兩階段。
- 
- Publication : ACM Transactions on Graphics
- [paper](http://orca.cf.ac.uk/130657/1/DepthPano-TOG2020.pdf)

- [ONE SHOT 3D PHOTOGRAPHY](https://dl.acm.org/doi/10.1145/3386569.3392420)
- 【深度估計、製作3D圖片】
- 從單張圖片製作 3D 圖片，可在 VR 環境中觀看。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3386569.3392420)

---
### Modeling and Synthesis
- (X) [GRAPH2PLAN: LEARNING FLOORPLAN GENERATION FROM LAYOUT GRAPHS](https://dl.acm.org/doi/10.1145/3386569.3392391)
- 【平面圖恢復】
- 透過深度學習框架，輸入房間邊界與 layout graph，產生高品質的平面圖。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3386569.3392391)

- (X) [Deep Generative Modeling for Scene Synthesis via Hybrid Representations](https://dl.acm.org/doi/10.1145/3381866)
- 【電腦生成 3D 場景】
- 透過神經網路訓練，將潛在參數映射至 3D 室內場景，場景由多個 3D 物件組成
`
We introduce a methodology for 3D scene synthesis using hybrid representations, which combine a 3D object arrangement representation for capturing coarse object interactions and an image-based representation for capturing local object interactions.
`
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://arxiv.org/pdf/1808.02084.pdf)

---
### Capturing and Editing Faces
- (X) [PORTRAIT SHADOW MANIPULATION](https://dl.acm.org/doi/10.1145/3386569.3392390)
- 【人臉 - 2D照片shadowing】
- 透過神經網路將人物肖像受到的陰影進行處理。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3386569.3392390)

---
### Tracking
- [XNECT: REAL-TIME MULTI-PERSON 3D MOTION CAPTURE WITH A SINGLE RGB CAMERA](https://dl.acm.org/doi/10.1145/3386569.3392410)
- ★ 能否用來處理非人物肢體(如家具物件)的遮擋情況？
- 【人物動作捕捉、虛擬人物控制】
- 即時的人物3D動作捕捉，透過CNN達到多人的動作捕捉(即使被遮擋也行)，並能以此控制虛擬角色做出相同動作。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3386569.3392410)

- (X) [ARANIMATOR: IN-SITU CHARACTER ANIMATION IN MOBILE AR WITH USER-DEFINED MOTION GESTURES](https://dl.acm.org/doi/10.1145/3386569.3392404)
- 【AR、手勢辨識、虛擬人物控制】
- 透過移動支援AR的手機設備，藉此控制AR的人物動作。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3386569.3392404)

---
### Real-Time Rendering
- [NEURAL SUPERSAMPLING FOR REAL-TIME RENDERING](https://dl.acm.org/doi/10.1145/3386569.3392376)
- 【Rendering、ML、VR】
- 透過機器學習方法，可即時將低解析度的輸入圖像恢復為高解析度的結果。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3386569.3392376)

- (X) [SPATIOTEMPORAL RESERVOIR RESAMPLING FOR REAL-TIME RAY TRACING WITH DYNAMIC DIRECT LIGHTING](https://dl.acm.org/doi/10.1145/3386569.3392481)
- 【Rendering、Ray Tracing】
- 提出一個演算法 ReSTIR 渲染數百萬動態光源的直接照明。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3386569.3392481)

- (x) [GAZE-CONTINGENT OCULAR PARALLAX RENDERING FOR VIRTUAL REALITY](https://dl.acm.org/doi/10.1145/3361330)
- 【ocular parallax、VR】
- ocular parallax (眼視差) 是由於眼球旋轉而在視網膜上產生與深度有關的圖像偏移。此篇論文設計實驗來研究 ocular parallax 的知覺含意，也顯示 ocular parallax rendering 可以改善 VR 中逼真的深度感。
- 
- Publication ： ACM Transactions on Graphics
- paper
---
### Appearance Acquisition and Inverse Rendering

- (X) [COMPOSITIONAL NEURAL SCENE REPRESENTATIONS FOR SHADING INFERENCE](https://dl.acm.org/doi/10.1145/3386569.3392475)
- 【Rendering、ML】
- 透過神經網路提取3D場景的自適應分區、可壓縮的神經場景表示方法。解析材質、照明、幾何訊息，補修視覺偽影並將神經方法與傳統的前向渲染器結合。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3386569.3392475)

- (X) [ADAPTIVE INCIDENT RADIANCE FIELD SAMPLING AND RECONSTRUCTION USING DEEP REINFORCEMENT LEARNING](https://dl.acm.org/doi/10.1145/3368313)
- 【Rendering、Ray Tracing】
- 提出了兩個新穎的深度學習網絡，用於對入射輻射場進行自適應採樣和重建，並將其應用在渲染程序上。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://sgvr.kaist.ac.kr/wp-content/uploads/2019/10/nnadaptive.pdf)

- (-) [Non-line-of-sight Reconstruction Using Efficient Transient Rendering](https://dl.acm.org/doi/10.1145/3368314)
- 【Rendering】
- description
- image
- Publication ： ACM Transactions on Graphics
- [paper](https://arxiv.org/pdf/1809.08044.pdf)

---
### Cinematography
- (X) [Example-driven Virtual Cinematography by Learning Camera Behaviors](https://dl.acm.org/doi/10.1145/3386569.3392427)
- 【Procedural animation、Virtual Cinematography、ML】
- 透過電影片段運鏡，學習其攝影機的移動路徑，並且應用於 3D charact3er animation 。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3386569.3392427)

- ★ [ENHANCED INTERACTIVE 360° VIEWING VIA AUTOMATIC GUIDANCE](https://dl.acm.org/doi/10.1145/3183794)
- 【VR】
- 新的交互式播放方法，以增強360°觀看體驗。
- 
- Publication ： ACM Transactions on Graphics
- paper

- (X) [Capturing Subjective First-Person View Shots with Drones for Automated Cinematography](https://dl.acm.org/doi/10.1145/3378673)
- 【Cinematography】
- 通過無人機捕獲主觀第一人稱視角影片，以進行自動攝影的方法。
- 
- Publication ： ACM Transactions on Graphics
- paper

---
### Image and Video Processing
- [REAL-TIME IMAGE SMOOTHING VIA ITERATIVE LEAST SQUARES](https://dl.acm.org/doi/10.1145/3388887)
- 【ML、CV】
- 保留邊緣的圖像平滑。
- 
- Publication ： ACM Transactions on Graphics
- paper

- [SINGLE IMAGE HDR RECONSTRUCTION USING A CNN WITH MASKED FEATURES AND PERCEPTUAL LOSS](https://dl.acm.org/doi/10.1145/3386569.3392403)
- 【ML】
- CNN 對單張圖片進行 HDR 重建。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3386569.3392403)

- (X) [Learning temporal coherence via self-supervision for GAN-based video generation](https://dl.acm.org/doi/10.1145/3386569.3392457)
- 【ML、CV】
- 透過 GAN 生成對應的影片，也有用來提高解析度(產生更銳利的圖片)。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3386569.3392457)

---
### VR Hardware

- (-) [Towards occlusion-aware multifocal displays](https://dl.acm.org/doi/10.1145/3386569.3392424)
- 【VR】
- 遮擋感知的多焦點顯示系統。增加顯示器可以滿足的感知提示的範圍以及減少由於散焦模糊的洩漏導致的對比度損失。
- 
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3386569.3392424)

---
### Motion and Matching
- (-) [Uncertainty quantification for multi-scan registration](https://dl.acm.org/doi/10.1145/3386569.3392402)
- 【Shape Analysis】
- description
- image
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3386569.3392402)

- [VID2CURVE: SIMULTANEOUS CAMERA MOTION ESTIMATION AND THIN STRUCTURE RECONSTRUCTION FROM AN RGB VIDEO](https://dl.acm.org/doi/10.1145/3386569.3392476)
- 【Surface Model】
- 從影片的某幾禎恢復原始3D薄物件。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3386569.3392476)

- [ENIGMA: Evolutionary Non-Isometric Geometry MAtching](https://dl.acm.org/doi/10.1145/3386569.3392447)
- 【Shape analysis】
- 匹配兩個類似的形狀。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3386569.3392447)

- (-) [KINETIC SHAPE RECONSTRUCTION](https://dl.acm.org/doi/10.1145/3376918)
- 【Modeling、ML】
- description
- 
- Publication ： ACM Transactions on Graphics
- paper

---
## [SIGGRAPH 2019](https://s2019.siggraph.org/wp-content/uploads/2019/firstpages.pdf)
### 1. Image Science
- ★ [Handheld multi-frame super-resolution](https://dl.acm.org/doi/10.1145/3306346.3323024)
- 【IM】
- GOOGLE提出的技術，透過手機拍攝多張低解析度的圖像來合成出高解析度的圖像。(多禎為同一個場景，但可能稍微有抖動)
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3306346.3323024)
- [參考資料](https://blog.csdn.net/zbwgycm/article/details/100600701)

- [Local light field fusion: practical view synthesis with prescriptive sampling guidelines](https://dl.acm.org/doi/10.1145/3306346.3322980)
- 【IM】
- 多張視圖合成。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3306346.3322980)
- [參考資料](https://www.flyinghuster.com/%E3%80%90%E8%AE%BA%E6%96%87%E8%A7%A3%E8%AF%BB%E3%80%91Local%20Light%20Field%20Fusion-Practical%20View%20Synthesis%20with%20Prescriptive%20Sampling%20Guidelines/)

---
### 8. High Performance Rendering
- (-) [Iterative Depth Warping](https://dl.acm.org/doi/10.1145/3190859)
- 【Rendering】
- 輸入圖片和 depth、motion，產生 depth buffer。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://graphics.tudelft.nl/Publications-new/2018/LKE18/2018-lee-tog-dw-cam.pdf)

---
### 9. Photo Science
- ★ [Semantic Photo Manipulation with a Generative Image Prior](https://dl.acm.org/doi/10.1145/3306346.3323023)
- 【ML、IM】
- 透過重建輸入圖像並合成新內容，例如移除或新增圖片中的物件。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3306346.3323023)

---
### 11. Neural Rendering
- [Neural volumes: learning dynamic renderable volumes from images](https://dl.acm.org/doi/10.1145/3306346.3323020)
- 【ML、Rendering】
- 使用機器學習達到基於表面的多視角重建技術？透過神經網路進行渲染。
- 
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3306346.3323020)

### 14. Relighting and View Synthesis
- [Deep view synthesis from sparse photometric images](https://dl.acm.org/doi/10.1145/3306346.3323007)
- 【IM、Rendering】
- 透過內插六張圖片，合成新穎的視圖。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3306346.3323007)

---
### 16. Scene and Object Reconstruction
- (X) [Plan3D: Viewpoint and Trajectory Optimization for Aerial Multi-View Stereo Reconstruction](https://dl.acm.org/doi/10.1145/3233794)
- 【3D imaging、Restruction】
- 透過空拍多張視圖進行3D重建，並且空拍的軌跡優化。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://arxiv.org/ftp/arxiv/papers/1705/1705.09314.pdf)

- (X) [Multi-Robot Collaborative Dense Scene Reconstruction](https://dl.acm.org/doi/10.1145/3306346.3322942)
- 【Autonomous scene reconstruction】
- 透過多個機器人對室內場景掃描進行3D重建，其中解決近似旅行推銷員問題，為每個機器人的路徑進行分配。
- 
- Publication ： ACM Transactions on Graphics
- [paper](sci-hub.tw/10.1145/3306346.3322942)

- ★ [Surface Reconstruction Based on the Modified Gauss Formula](https://dl.acm.org/doi/10.1145/3233984)
- 【Surface reconstruction】
- 重建 3D surface。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3233984)

(ex.)
- ★ [Surface Reconstruction Based on the Modified Gauss Formula](https://dl.acm.org/doi/10.1145/3233984)
- 【Surface reconstruction】
- 重建 3D surface。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://arxiv.org/ftp/arxiv/papers/1708/1708.06695.pdf)
---
### 18. Off the Deep End
- ★ [GRAINS: Generative Recursive Autoencoders for INdoor Scenes](https://dl.acm.org/doi/10.1145/3303766)
- 【Shape analysis、3D indoor scene generation】
- 透過RNN產生室內3D場景。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3303766)

- (X) [iMapper: interaction-guided scene mapping from monocular videos](https://dl.acm.org/doi/10.1145/3306346.3322961)
- 【→ Scene understanding、Shape analysis】
- 3D場景與人物動作分析，恢復遮擋資訊。
- image
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3306346.3322961)

---
### 20. VR and AR
- ★★ [Perceptual rasterization for head-mounted display image synthesis](https://dl.acm.org/doi/10.1145/3306346.3323033)
- 【VR、Rendering】
- 和 Foveated rendering 有關 (?
- image
- Publication ： ACM Transactions on Graphics
- [paper](https://arxiv.org/pdf/1806.05385.pdf)
- [參考資料(影片)](https://www.youtube.com/watch?v=Xc46CaMYnCc)
- [參考資料(foveated rendering)](https://zh.wikipedia.org/wiki/%E6%B3%A8%E8%A6%96%E9%BB%9E%E6%B8%B2%E6%9F%93)

---
### 22. Maps and Operators
- (-) [Reversible Harmonic Maps between Discrete Surfaces](https://dl.acm.org/doi/10.1145/3202660)
- 【Shape analysis、Shape matching】
- 映射3D形狀。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3202660)

---
### 23. Video
- (-) [Video Extrapolation Using Neighboring Frames](https://dl.acm.org/doi/10.1145/3196492)
- 【video extrapolation】
- 提出一個 video extrapolation 的方法，使用現有內容以創建 wide FOV display。輸入為上方的圖片，產生結果為下方的圖片。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://sci-hub.tw/10.1145/3196492)

- (X) [Interactive and automatic navigation for 360° video playback](https://dl.acm.org/doi/10.1145/3306346.3323046)
- 【360◦ video、spherical panorama、user interaction、360◦ video navigation】
- 一個交互式系統，在 2D 螢幕上觀看 360 video。系統在預處理步驟中估算 optical flow 和 saliency。 基於這些內容，系統會自動找到最佳觀看體驗的攝像機路徑。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://sci-hub.tw/10.1145/3306346.3323046)

- (X)[Joint Stabilization and Direction of 360° Videos](https://dl.acm.org/doi/10.1145/3211889)
- 【VR、video stabilization】
- 調整使用者觀看360影片的方向 (?
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://frobelbest.github.io/papers/360stabilization.pdf)
---
### 28. Sound Graphics
- ★ [Variational Implicit Point Set Surfaces](https://dl.acm.org/doi/10.1145/3306346.3322994)
- 【Point based model】
- 從無方向的點集重構隱含曲面的新方法。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3306346.3322994)

---
### 31. Design and Layout
- [PlanIT: Planning and Instantiating Indoor Scenes With Relation Graph and Spatial Prior Networks](https://dl.acm.org/doi/10.1145/3306346.3322941)
- 【ML、indoor scene synthesis】
- 使用機器學習方法，透過平面圖(下圖左)產生實體場景(下圖右)。
- 
- Publication ： ACM Transactions on Graphics
- [paper](https://dl.acm.org/doi/pdf/10.1145/3306346.3322941)

---
## OmniDepth: Dense Depth Estimation for Indoors Spherical Panoramas
- (X) [Self-Supervised Deep Depth Denoising](https://arxiv.org/abs/1909.01193)
- 【ML、深度感知、多視角】
- 深度圖去噪，使用同一場景的不同視圖進行訓練，以 self-supervised 的方式進行，且無 ground truth。
- 
- Publication ：
- [paper](https://arxiv.org/pdf/1909.01193.pdf)

- (X) [A Low-Cost, Flexible and Portable Volumetric Capturing System](https://arxiv.org/abs/1909.01207)
- 【VR】
- 多視角捕捉系統。
- 
- Publication ：
- [paper](https://arxiv.org/pdf/1909.01207.pdf)

- (X) [DronePose: Photorealistic UAV-Assistant
Dataset Synthesis for 3D Pose Estimation via a
Smooth Silhouette Loss](https://arxiv.org/abs/2008.08823)
- 【無人機、3D Pose Estimation】
- 3D Pose Estimation
- 
- Publication ：
- [paper](https://arxiv.org/pdf/2008.08823.pdf)

- (X) [Deep Soft Procrustes for Markerless Volumetric Sensor Alignment](https://arxiv.org/abs/2003.10176)
- 【ML、AI】
- 多視角，估計物體的 pose？
- 
- Publication ：
- [paper](https://arxiv.org/pdf/2003.10176.pdf)

- (X ★) [Restyling Data: Application to Unsupervised Domain Adaptation](https://arxiv.org/abs/1909.10900)
- 【ML】
- UDA。
- 
- Publication ：
- [paper](https://arxiv.org/pdf/1909.10900.pdf)

- (X) [A Deep Learning Approach to Object Affordance Segmentation](https://arxiv.org/abs/2004.08644)
- 【DL】
- 輸入圖片或影片，恢復圖中物件的直觀功能(可互動的方式?)。
- 
- Publication ：
- [paper](https://arxiv.org/pdf/2004.08644.pdf)
- [參考資料 : 直觀功能](https://zh.wikipedia.org/wiki/%E6%89%BF%E6%93%94%E7%89%B9%E8%B3%AA)

- ★ [Spherical View Synthesis for Self-Supervised 360 Depth Estimation](https://arxiv.org/abs/1909.08112)
- 【ML、深度估計】
- 使用多張視圖來估計 spherical 的深度，如下圖右側的場景與其中三個點(攝影機位置)。
- 
- 
- Publication ：
- [paper](https://arxiv.org/pdf/1909.08112.pdf)

- ★ [360o Surface Regression with a Hyper-Sphere Loss](https://arxiv.org/abs/1909.07043)
- 【ML】
- 透過 CNN 估計 panorama 的 surface normal。
- 
- Publication ：
- [paper](https://arxiv.org/pdf/1909.07043.pdf)

- ★ ? [Deep Lighting Environment Map Estimation from Spherical Panoramas](https://arxiv.org/abs/2005.08000)
- 【ML】
- 從單張 LDR monocular spherical panorama 估計 HDR lighting environment map。並且可以對場景做 relight？
- 
- 不同折射率的材質。
- 
- Publication ：
- [paper](https://arxiv.org/pdf/2005.08000.pdf)

### ★ [THE HYPER360 TOOLSET FOR ENRICHED 360◦ VIDEO](https://arxiv.org/abs/2005.06944)
- 【360 video、VR】
- 製作一個能編輯 360 video 的工具。
- 
- Publication ： Collaborative Research and Innovation Projects track at ICME 2020
- [paper](https://arxiv.org/pdf/2005.06944.pdf)
- Intro.
- Capturing layer
- 含有 OmniCap tool，可以使用各種相機(例如multi camera arrays、tiny fisheye lense devices)，並且確保整體的質量夠高。
- 提供 pipelne，最多可同時放置36部camera，可做到攝影機參數控制、影像拼接、3D元素聚合到場景中，也可以做到 quality control。
- 一般用來檢測普通影片的缺陷，例如signal clipping、blurriness、flicker or noise 的演算法，已針對 360 影片(equirectangular projection) 進行調整。
- [1] 描述 blurriness algorithm
- [2] 說明電腦視覺演算法應用於 360◦ video 的策略
- Production layer
- 含有兩個後處理工具，提供增強的 viewport experience。
- 1. OmniConnect tool
- 透過超連結與content metadata來管理360媒體的註解，提供不同的熱點來豐富360° video。
- shape、2D video、audio、html pages、multiline texts、images、metadata。
- 提供與 HTML5、WebGL兼容的web介面，包含用於預覽的播放器，也可以在不同的平台上發布(iOS/Android/PC/HbbTV)。
- 
- <font color=#FF0000>2. CapTion tool</font>
- 為製作 mixed reality 而設計的工具，將360°與3D內容混合。可捕捉 human narrators 在 3D 中的動作(?)並將生成內容遷入至360° video。
- 一、體積捕獲的硬體系統，包含對應之軟體應用程式[3]，可記錄空間校準[4] 與時間對齊的 RGB-D video。
- 二、動作捕捉系統，生成動態的人類動作紋理網格[5]。
- 三、利用神經網絡進行360°場景理解[6,7,8,9]，以實現將3D內容無縫且逼真的放置在 omnidirectional 裡面。
- 
- Delivery layer
- OmniCloud
- 1. user profiling 與 recommendation services for personalized consumption。
- (後者)根據 LUMO 的擴展版本[10]，會透過 Hyper360 的 Semantic Interpreter，將內容註釋轉變成一組模糊實例 ← (？
- (前者)Profiling Engine 會透過 viewport 捕獲時間、空間、行為訊息(觀看者聚焦在影片的哪個位置，觀看什麼對象多長時間等)，並且結合適當的內容語義含意。最後，推薦引擎透過 LiFR fuzzy reasoner[11] 的擴展，在語義上將學習到的 user profiles 與 content metadata 進行匹配 ← (？
- 總結來說，這部分實現了「個性化導航」，體現相機路徑的探索，以及 3D mentor 敘述的線索，也實現了嵌入式物件(hotspots, hyperlinks, nested media)的交付，如下圖所示。
- 
- 2. 用於 2D video 在傳統電視上播放的自動相機路徑生成器。
- 較舊的電視，不支援360video，因此論文提出一種自動計算影片視覺上有趣的相機路徑。自動產生路徑的原型[12] 是基於場景中對象(人、動物)的訊息，該訊息由[13] 提取。
- 總結來說，根據場景對象的類別、大小、運動幅度等來計算顯著分數，追蹤具有最高顯著分數的對象來拍攝，藉此自動產生相機路徑。
- Presentation layer
- 包含各種播放器，可在多個平台上播放豐富的 360 video，包含Windows/Web/Android/iOS/HTC Vive/Occlus Go/Smart TV/traditional TV
- 關於播放器的實作，使用了特定的框架進行(主要是Unity/JS/WebGL/XCode)。
- pilots
-.

- 此篇引用的論文 ── 利用神經網絡進行360°場景理解
- [6]：“Omnidepth: Dense depth estimation for indoors spherical panoramas
- [7]：[360D: A Dataset and Baseline for Dense Depth Estimation from 360 Images](https://www.iti.gr/iti/files/document/publications/360D_ECCV2018_Workshop.pdf)
- [8]：“Spherical view synthesis for self-supervised 360◦ depth estimation
- [9]：“360◦ surface regression with a hyper-sphere loss
---

- [title]()
- 【】
- description
- image
- Publication ：
- [paper]()

---

<!--

對雙眼的 panorama 做影像處理？
輸入多張 panorama，以重建其中的 3D 物件？
ref: https://zhuanlan.zhihu.com/p/146206898

找以下論文 ↓
- 基于视角方向的全景虚拟视图合成

目前的想法
1. 透過 CV / ML 將原始 panorama 中的物件切除
2. 透過 relighting 方法將放入的物件重新照明
3. 能否透過 single panorama 與給定視差，重新建立 stereo panorama

其他產生物件的方法：
輸入多張 panorama，切割其中一個物件，透過 ML 重建該物件 3D 資訊

-->