# The Fusion and Verification of 2D Human Skeleton and 3D Point Cloud based on RealSense
https://www.aris2023.org/authors
目前檔案(需下載才會正常顯試):
https://1drv.ms/w/s!AnOehZg0eyFdgpEoimipGonBu7JIYQ?e=qk3PYO
### I. INTRODUCTION
* 因應人機協作之實際場域應用，人體之3D座標資訊對於與機器的溝通實際上相當重要。為此，我們將透過realsense取得圖像中的RGB與深度資訊，將深度資訊融合至2D，融合成為3D資訊，~~以提升人體動作辨識準確度~~，亦可將點位資訊提供給協作機器，以提升人機協作之安全性。此外，基於5G環境下之快速傳輸，我們將以單點融合方法減少模型之運算量。(減少運算時間約15%->可拿5G學長做過的數據用)
* 3D深度資訊將於此研究進行驗證。
* 相關研究1: RealSense
* reasesense深度資訊驗證
* 為何使用D455(不同型號相機之優劣)
* Realsense官方提供之深度驗證方法與誤差計算方式
https://github.com/IntelRealSense/librealsense/tree/master/tools/depth-quality

* 相關研究2: 為何使用mediapip
* MediaPipe Hands: On-device Real-time Hand Tracking
https://arxiv.org/abs/2006.10214
* BlazePose: On-device Real-time Body Pose tracking
https://arxiv.org/abs/2006.10204
* MediaPipe: A Framework for Building Perception Pipelines
https://arxiv.org/abs/1906.08172
* 相關研究3: OpenGL介紹
* Interactive Computer Graphics: A top-down approach with OpenGL(被引用1024次)
* Principles of Computer Graphics: Theory and Practice Using OpenGL and Maya®(被引用35次)
* Visualization with OpenGL: 3D made easy(被引用18次，但是感覺很有機會可以放)

### II. Method: 透過RealSense進行2D轉3D
* 流程圖
* 2D轉3D
* 透過RealSense 取得3D 點雲成像
* 3D 點雲成像結合人體骨架模型
* RealSense 套件及OpenGL 繪製工具

### III. Results/Evaluation (驗證結果)
* 深度資訊驗證: 透過不同方式進行驗證並皆得出相似結果, 也證實我們的驗證方式可信。
* 雷射測距儀(GT)
* realsense
* mediapipe

### IV. DISCUSSION
### V. CONCLUSION
* 同introduction
### REFERENCES

----

* 目的/貢獻
目前3D定位有需多方法(找文獻)，這些都牽涉到實際距離的準確度，而本研究利用realsense結合點雲座標進行轉換，對人體骨架進行深度資訊的相關驗證，以還原點雲骨架轉換的實際座標位置。

* 方法
* 透過RealSense 取得3D 點雲成像
* 3D 點雲成像結合人體骨架模型
* RealSense 套件及OpenGL 繪製工具
* **3D 點雲成像結合人體骨架模型於人機協同之應用**
* 單點融合
* 人機協作之資訊溝通(座標轉換)
* 初步結果與驗證
* 測距模組(用保麗龍貼齊)
* 2D點位驗證(7個點位* 3個距離)
在平面距離的精度誤差，已經有經過座標轉換(得到realsense在平面上的精度)
* 3D點位驗證(3個點位* 3個距離* 4個受測者)
推測出點雲之距離可信度
3D點雲手腕、頭部上之準確度
* 列出可能產生的誤差:
逐幀關鍵點位的差距
人體生理因素
角度關係(非完全平行/垂直)
* 結論
用realsense貼合之結果與真實結果之差距，在合理差距範圍內是可用的

---
### 需要補的文獻&敘述:
1. openGL補充
2. 2D/3D距離驗證的paper
* 不同光照的準確度
Seedling-lump integrated non-destructive monitoring for automatic transplanting with Intel RealSense depth camera
https://www.sciencedirect.com/science/article/pii/S2589721719300297
* 使用ISO 10360-13評估D415, D455, L515效能
Metrological Characterization and Comparison of D415, D455, L515 RealSense Devices in the Close Range
https://www.mdpi.com/1424-8220/21/22/7770
* 各種深度相機的驗證
PERSPECTIVES OF REALSENSE AND ZED DEPTH SENSORS FOR ROBOTIC VISION APPLICATIONS
https://www.mdpi.com/2075-1702/10/3/183

4. 支持使用mediapipe的理由(輕量化/運算快)
* MediaPipe Hands: On-device Real-time Hand Tracking
https://arxiv.org/abs/2006.10214
* BlazePose: On-device Real-time Body Pose tracking
https://arxiv.org/abs/2006.10204
* MediaPipe: A Framework for Building Perception Pipelines
https://arxiv.org/abs/1906.08172

6. 距離驗證的error計算方式
* 我來～
https://github.com/IntelRealSense/librealsense/tree/master/tools/depth-quality

將3D資訊融合至2D
單點轉換僅取出2D, 需也取出3D
mediapipe出來的3D資訊需要再轉換 > _normalize只有轉xy
pose只丟landmark跟座標 hand另外加左右手
計算速度方法再另佐證
說明必須畫圖理由 因目前有將畫圖時間一併計入 才得到較為顯著的時間速度提升
使用3D骨架之STGCN
realsense驗證

--------------------------------
Open GL:
Interactive Computer Graphics: A top-down approach with OpenGL(被引用1024次)

Principles of Computer Graphics: Theory and Practice Using OpenGL and Maya®(被引用35次)

Visualization with OpenGL: 3D made easy(被引用18次，但是感覺很有機會可以放)

------------------------------------
Realsense:
Metrological and Critical Characterization of the Intel D415 Stereo Depth Camera(被引用80次)

VDI/VDE 2634 Blatt 2. Available online: https://www.vdi.eu/guidelines/vdivde_2634_blatt_2-optische_3_d_messsysteme_bildgebende_systeme_mit_flaechenhafter_antastung/ (accessed on 28 November 2018).
(The German standard VDI/VDE 2634 Part 2 (“Optical 3D measuring systems”) is, in fact, the only recognised standard providing a number of guidelines for the acceptance and verification of optical 3D measuring systems.)