前言 Zip-NeRF這篇論文是由Barron提出的最新作品，結合了之前的SOTA Mip-NeRF360 以及 Instant NGP的優點，達到在不影響quality的前提下，training speed相比於Mip360提升22倍。 在閱讀Zip-NeRF之前，推薦先理解Mip-NeRF360以及iNGP的概念。在此就先簡述一下兩者的概念： Mip-NeRF360 首先，mip360延續了mip-nerf的sampling method，將原本在ray上取點的sample方式改為用很多段frustum代表sampling的範圍。又因為不可能計算一段frustum中所有的點的positional encoding後的值，所以mip-nerf採用了一種approximate的方式去近似（假設每一個frustum的分佈是multi-variant gaussian distribution），通過簡單的算式得到一個frustum內的所有point的expectation of encoded frustum。（這個部分的詳細推導可以去看mip-nerf原文） 其次，mip360更新的另一個部分是將mip-nerf的coarse-to-fine model中的coarse model修改為proposal model。雖然coarse和fine model都使用了同一套weight（訓練效率增加），但是在coarse階段並不用預測object color，只需要輸出volumetric density（object在當前位置的機率）即可。因此，mip360提出proposal model取代原本的coarse model，進而只輸出volumetric density。 Instant NGP