# NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance Fields

## preliminary
### dense descriptors
相對於object dectection跟instance segmentation，使用dense descriptor能對於物體提供更多細部資訊(例如:用來區分物體的不同部位)，讓機器人能從指定的部分操作物體(例如:夾住鞋舌撿起球鞋)

### NeRF(neural radiance fields)
以神經網路學習場景的隱式表達法，可用於3D重建
訓練神經網路所需的資料: a set of images with known camera poses

## abstract
對於表面會反光的物體深度相機無法得到好的depth map
進而影響dense descriptor，於是改用NeRF來產生出correspondences

## 流程
用NeRF產生出correspondences，用來訓練Dense Object Nets

## method
1. 先訓練NeRF

2. 實驗一:先用NeRF產生depth map，然後再產生出correspondences
發現有些情況下會產生出不正確的correspondences
3. 實驗二:改採用density field
相較於depth map，使用density field能保留完整分布，而depth map則類似於直接取平均

## result
可以發現不論是採用depth map或是density field，效果都比
COLMAP(一種傳統的Multi-view Stereo方法)及其他好。其中使用density field的結果最佳

## contributions
- RGB-sensor only, self-supervised pipeline for learning object-centric dense descriptors
- succeed on thin, reflective objects on which depth sensors typically fail
- experiments showing that the distribution-of-depths formulation can improve the downstream precision of correspondence models trained on this data, when compared to the single depth alternatives

## Overview Video
https://www.youtube.com/watch?v=_zN-wVwPH1s&t=238s