A Calibration Method for On-Vehicle AR-HUD System Using Mixed Reality Glasses

A Calibration Method for On-Vehicle AR-HUD System Using Mixed Reality Glasses === ###### Nianchen Deng* Yanqing Zhou† Jiannan Ye‡ Xubo Yang§ School of Software, Shanghai Jiao Tong University ## Keyword Human-centered computing—Human computer interaction (HCI)—Interaction paradigms—Mixed / augmented reality Human-centered computing—Human computer interaction (HCI)—Interaction devices—Displays and imagers ### 中英 Calibration 校準 windshield 擋風玻璃 pedestrians 行人 accurately 準確的 primitive 早期；基本 coordinate 座標 ICP(Iterative Closest Point) 迭代最近點 ## Content 為了改善因擋風玻璃而扭曲以及準度發展出的校準方法在駕駛視野疊加AR內容，需從viewpoint渲染虛擬場景，讓虛擬場景跟真實場景光線重疊 #### 映射數學式： ### $r_{ij} = f^v(p^s_{ij})$ $v$ : viewpoint $p^s$ : 每個pixel $r$ : 光線方向 #### 獲得映射數學式： ### $r_{ij} = T_cP_c^{-1}p^c_{ij}$ $c$ : 相對應 $p^c_{ij}$ : 反射相對應位置 $p^s_{ij}$ : 相機圖像中 $T_c$ : 攝影機對車輛空間變換的矩陣 $P_c$ : 攝影機投影矩陣多項式函數作為多Viewpoint-model，單Viewpoint-model中每個$\hat{r}_{ij}$組件： $\hat{r}^k_{ij}=\displaystyle\sum_{d1,d2,d3}b_{ijk}(d1,d2,d3)x_v^{d1}y_v^{d2}z_v^{d3},d_i\in N,\displaystyle\sum_id_i\leq D$ $k=1,2$ : $r$的索引 $(x,y,z)$ : viewpoint $b_{ijk}(·)$ : 模型係數 $D$ : 最大值使用非線性回歸的方法計算$b_{ijk}(·)$ ### 實驗方法建立了一個室內系統原型來模擬道路上的實際駕駛情況使用Microsoft HoloLens當作校準工具使用Unity3D實現校準過程 1. 使用車輛座標系統校準HoloLens的座標，使用ICP algorithm計算HoloLens空間映射轉換 2. 在不同視點採用HoloLens前置相機進行映射採集Datasheet約500個sample 3. 使用Matlab非線性回歸（nonlinear regression）工具訓練模型 ### 結果 ![HUD室內實驗台](https://i.imgur.com/NncmFuA.png) 黃色路徑從投影機到viewpoint的光線藍色路徑HUD的虛擬光線 viewpoint - 虛擬圖像 3m 視角 - 水平(9°) 垂直(3°) Unity3D用來顯示場景校準後顯示效果使用標準渲染進行校準後顯示效果，在GPU上處理非失真渲染 ![相機追蹤結果](https://i.imgur.com/07oUiAy.png) 地板上四個LED燈條當做參考最遠距離6m 在地板上建構一個參考格線，將相同配置放入虛擬影像中配戴HoloLens移動到任何地方都覆蓋在參考線上表示結果是合理的圖中從三個不同點觀看所有顯示虛擬格線與參考線精確相重疊評估非失真結果，模擬兩個表準網格場景：網格底版、網格隧道網格底版：Y=0平面中的水平、垂直線距離可達100m 網格隧道：W=4m/H=2m/Z=30m AR-HUD和HoloLens同時顯示相同場景 HoloLens透過UDP送到AR-HUD渲染 ![](https://i.imgur.com/ekC4hWI.jpg) 無失真渲染結果，上面兩張為網格底版場景，下面兩張為網格隧道場景 ### 結論 AR-HUD的光學模型是非線性的，此論文設計了一個兩種映射模型來處理失真 ## Review 本篇論文主要是校準AR-HUD的空間感，使用一片曲面玻璃模擬擋風玻璃並設計一套硬體(包含投影機、鏡子、擋風玻璃)將AR-HUD實現，在前方使用LED燈條作為校準點，並利用HoloLens的鏡頭作為影像回授，持續較準打出來的影像想對位置回傳到GPU使用Unity3D進行渲染，再使用投影機打出來校準之後的HUD影像。 ## Relevant information https://ieeexplore.ieee.org/document/8446213 ## Reference [1] C. B. Owen, J. Zhou, A. Tang, and F. Xiao. Display-relative calibration for optical see-through head-mounted displays. In Third IEEE and ACM International Symposium on Mixed and Augmented Reality, pp. 70–78, 2004. [2] K. Ueno and T. Komuro. [poster] overlaying navigation signs on a road surface using a head-up display. In Mixed and Augmented Reality (ISMAR), 2015 IEEE International Symposium on, pp. 168–169. IEEE, 2015. [3] F. Wientapper, H. Wuest, P. Rojtberg, and D. W. Fellner. A camera- based calibration for automotive augmented reality head-up-displays. In 2013 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pp. 189–197, 2013. [4] W. Wu, F. Blaicher, J. Yang, T. Seder, and D. Cui. A prototype of landmark-based car navigation using a full-windshield head-up display system. In Proceedings of the 2009 Workshop on Ambient Media Com- puting, AMC ’09, pp. 21–28. ACM, New York, NY, USA, 2009. doi: 10 .1145/1631005.1631012 ###### tags: `ELSE論文` `IEEE` `Conference` `2018`