---
# System prepended metadata

title: A Calibration Method for On-Vehicle AR-HUD System Using Mixed Reality Glasses
tags: [Conference, IEEE, ELSE論文, '2018']

---

A Calibration Method for On-Vehicle AR-HUD System Using Mixed Reality Glasses
===
###### Nianchen Deng* Yanqing Zhou† Jiannan Ye‡ Xubo Yang§ School of Software, Shanghai Jiao Tong University


## Keyword
Human-centered computing—Human computer interaction (HCI)—Interaction paradigms—Mixed / augmented reality
Human-centered computing—Human computer interaction (HCI)—Interaction devices—Displays and imagers


### 中英
Calibration 校準
windshield 擋風玻璃
pedestrians 行人
accurately 準確的
primitive 早期；基本
coordinate 座標
ICP(Iterative Closest Point) 迭代最近點

## Content
為了改善因擋風玻璃而扭曲以及準度發展出的校準方法
在駕駛視野疊加AR內容，需從viewpoint渲染虛擬場景，讓虛擬場景跟真實場景光線重疊

#### 映射數學式：
### $r_{ij} = f^v(p^s_{ij})$
$v$ : viewpoint
$p^s$ : 每個pixel
$r$ : 光線方向

#### 獲得映射數學式：
### $r_{ij} = T_cP_c^{-1}p^c_{ij}$
$c$ : 相對應
$p^c_{ij}$ : 反射相對應位置
$p^s_{ij}$ : 相機圖像中
$T_c$ : 攝影機對車輛空間變換的矩陣
$P_c$ : 攝影機投影矩陣

多項式函數作為多Viewpoint-model，單Viewpoint-model中每個$\hat{r}_{ij}$組件：
$\hat{r}^k_{ij}=\displaystyle\sum_{d1,d2,d3}b_{ijk}(d1,d2,d3)x_v^{d1}y_v^{d2}z_v^{d3},d_i\in N,\displaystyle\sum_id_i\leq D$
$k=1,2$ : $r$的索引
$(x,y,z)$ : viewpoint
$b_{ijk}(·)$ : 模型係數
$D$ : 最大值
使用非線性回歸的方法計算$b_{ijk}(·)$


### 實驗方法
建立了一個室內系統原型來模擬道路上的實際駕駛情況
使用Microsoft HoloLens當作校準工具
使用Unity3D實現校準過程

1. 使用車輛座標系統校準HoloLens的座標，使用ICP algorithm計算HoloLens空間映射轉換
2. 在不同視點採用HoloLens前置相機進行映射採集Datasheet約500個sample
3. 使用Matlab非線性回歸（nonlinear regression）工具訓練模型

### 結果
![HUD室內實驗台](https://i.imgur.com/NncmFuA.png)
黃色路徑從投影機到viewpoint的光線
藍色路徑HUD的虛擬光線
viewpoint - 虛擬圖像 3m
視角 - 水平(9°) 垂直(3°)
Unity3D用來顯示場景校準後顯示效果
使用標準渲染進行校準後顯示效果，在GPU上處理非失真渲染

![相機追蹤結果](https://i.imgur.com/07oUiAy.png)
地板上四個LED燈條當做參考最遠距離6m
在地板上建構一個參考格線，將相同配置放入虛擬影像中
配戴HoloLens移動到任何地方都覆蓋在參考線上表示結果是合理的
圖中從三個不同點觀看所有顯示虛擬格線與參考線精確相重疊

評估非失真結果，模擬兩個表準網格場景：網格底版、網格隧道
網格底版：Y=0平面中的水平、垂直線距離可達100m
網格隧道：W=4m/H=2m/Z=30m
AR-HUD和HoloLens同時顯示相同場景
HoloLens透過UDP送到AR-HUD渲染
![](https://i.imgur.com/ekC4hWI.jpg)
無失真渲染結果，上面兩張為網格底版場景，下面兩張為網格隧道場景

### 結論
AR-HUD的光學模型是非線性的，此論文設計了一個兩種映射模型來處理失真


## Review
本篇論文主要是校準AR-HUD的空間感，使用一片曲面玻璃模擬擋風玻璃並設計一套硬體(包含投影機、鏡子、擋風玻璃)將AR-HUD實現，在前方使用LED燈條作為校準點，並利用HoloLens的鏡頭作為影像回授，持續較準打出來的影像想對位置回傳到GPU使用Unity3D進行渲染，再使用投影機打出來校準之後的HUD影像。


## Relevant information
https://ieeexplore.ieee.org/document/8446213


## Reference
[1] C. B. Owen, J. Zhou, A. Tang, and F. Xiao. Display-relative calibration for optical see-through head-mounted displays. In Third IEEE and ACM International Symposium on Mixed and Augmented Reality, pp. 70–78, 2004.
[2] K. Ueno and T. Komuro. [poster] overlaying navigation signs on a road surface using a head-up display. In Mixed and Augmented Reality (ISMAR), 2015 IEEE International Symposium on, pp. 168–169. IEEE, 2015.
[3] F. Wientapper, H. Wuest, P. Rojtberg, and D. W. Fellner. A camera- based calibration for automotive augmented reality head-up-displays. In 2013 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pp. 189–197, 2013.
[4] W. Wu, F. Blaicher, J. Yang, T. Seder, and D. Cui. A prototype of landmark-based car navigation using a full-windshield head-up display system. In Proceedings of the 2009 Workshop on Ambient Media Com- puting, AMC ’09, pp. 21–28. ACM, New York, NY, USA, 2009. doi: 10 .1145/1631005.1631012

###### tags: `ELSE論文` `IEEE` `Conference` `2018`