---
# System prepended metadata

title: The Fusion and Verification of 2D Human Skeleton and 3D Point Cloud based on RealSense
tags: [ARIS2023]

---

# The Fusion and Verification of 2D Human Skeleton and 3D Point Cloud based on RealSense 
https://www.aris2023.org/authors
目前檔案(需下載才會正常顯試):
https://1drv.ms/w/s!AnOehZg0eyFdgpEoimipGonBu7JIYQ?e=qk3PYO
### I.	INTRODUCTION
* 因應人機協作之實際場域應用，人體之3D座標資訊對於與機器的溝通實際上相當重要。為此，我們將透過realsense取得圖像中的RGB與深度資訊，將深度資訊融合至2D，融合成為3D資訊，~~以提升人體動作辨識準確度~~，亦可將點位資訊提供給協作機器，以提升人機協作之安全性。此外，基於5G環境下之快速傳輸，我們將以單點融合方法減少模型之運算量。(減少運算時間約15%->可拿5G學長做過的數據用)
* 3D深度資訊將於此研究進行驗證。
    * 相關研究1: RealSense
        * reasesense深度資訊驗證
        * 為何使用D455(不同型號相機之優劣)
        * Realsense官方提供之深度驗證方法與誤差計算方式
    https://github.com/IntelRealSense/librealsense/tree/master/tools/depth-quality

    * 相關研究2: 為何使用mediapip
        * MediaPipe Hands: On-device Real-time Hand Tracking
        https://arxiv.org/abs/2006.10214
        * BlazePose: On-device Real-time Body Pose tracking
        https://arxiv.org/abs/2006.10204
        * MediaPipe: A Framework for Building Perception Pipelines
        https://arxiv.org/abs/1906.08172
    * 相關研究3: OpenGL介紹
        * Interactive Computer Graphics: A top-down approach with OpenGL(被引用1024次)
        * Principles of Computer Graphics: Theory and Practice Using OpenGL and Maya®(被引用35次)
        * Visualization with OpenGL: 3D made easy(被引用18次，但是感覺很有機會可以放)

### II.	Method: 透過RealSense進行2D轉3D
* 流程圖
* 2D轉3D
  * 透過RealSense 取得3D 點雲成像
  * 3D 點雲成像結合人體骨架模型
  * RealSense 套件及OpenGL 繪製工具

### III. Results/Evaluation (驗證結果)
* 深度資訊驗證: 透過不同方式進行驗證並皆得出相似結果, 也證實我們的驗證方式可信。
  * 雷射測距儀(GT)
  * realsense
  * mediapipe

### IV. DISCUSSION	
### V. CONCLUSION
* 同introduction
### REFERENCES

----

* 目的/貢獻
  目前3D定位有需多方法(找文獻)，這些都牽涉到實際距離的準確度，而本研究利用realsense結合點雲座標進行轉換，對人體骨架進行深度資訊的相關驗證，以還原點雲骨架轉換的實際座標位置。

* 方法
  * 透過RealSense 取得3D 點雲成像
  * 3D 點雲成像結合人體骨架模型
  * RealSense 套件及OpenGL 繪製工具
  * **3D 點雲成像結合人體骨架模型於人機協同之應用**
    * 單點融合
    * 人機協作之資訊溝通(座標轉換)
* 初步結果與驗證
  * 測距模組(用保麗龍貼齊)
  * 2D點位驗證(7個點位* 3個距離)
    在平面距離的精度誤差，已經有經過座標轉換(得到realsense在平面上的精度)
  *  3D點位驗證(3個點位* 3個距離* 4個受測者)
         推測出點雲之距離可信度
         3D點雲手腕、頭部上之準確度
        * 列出可能產生的誤差:
          逐幀關鍵點位的差距
          人體生理因素
          角度關係(非完全平行/垂直)
* 結論
    用realsense貼合之結果與真實結果之差距，在合理差距範圍內是可用的
    
---
### 需要補的文獻&敘述:
1. openGL補充
2. 2D/3D距離驗證的paper
   * 不同光照的準確度
     Seedling-lump integrated non-destructive monitoring for automatic transplanting with Intel RealSense depth camera
     https://www.sciencedirect.com/science/article/pii/S2589721719300297
    * 使用ISO 10360-13評估D415, D455, L515效能
      Metrological Characterization and Comparison of D415, D455, L515 RealSense Devices in the Close Range
    https://www.mdpi.com/1424-8220/21/22/7770
    * 各種深度相機的驗證
      PERSPECTIVES OF REALSENSE AND ZED DEPTH SENSORS FOR ROBOTIC VISION APPLICATIONS
    https://www.mdpi.com/2075-1702/10/3/183



4. 支持使用mediapipe的理由(輕量化/運算快)
    * MediaPipe Hands: On-device Real-time Hand Tracking
    https://arxiv.org/abs/2006.10214
    * BlazePose: On-device Real-time Body Pose tracking
    https://arxiv.org/abs/2006.10204
    * MediaPipe: A Framework for Building Perception Pipelines
    https://arxiv.org/abs/1906.08172

6. 距離驗證的error計算方式
    * 我來～
https://github.com/IntelRealSense/librealsense/tree/master/tools/depth-quality






將3D資訊融合至2D
單點轉換僅取出2D, 需也取出3D
mediapipe出來的3D資訊需要再轉換 > _normalize只有轉xy
pose只丟landmark跟座標 hand另外加左右手
計算速度方法再另佐證
說明必須畫圖理由 因目前有將畫圖時間一併計入 才得到較為顯著的時間速度提升
使用3D骨架之STGCN
realsense驗證

--------------------------------
Open GL:
Interactive Computer Graphics: A top-down approach with OpenGL(被引用1024次)

Principles of Computer Graphics: Theory and Practice Using OpenGL and Maya®(被引用35次)

Visualization with OpenGL: 3D made easy(被引用18次，但是感覺很有機會可以放)

------------------------------------
Realsense:
Metrological and Critical Characterization of the Intel D415 Stereo Depth Camera(被引用80次)

VDI/VDE 2634 Blatt 2. Available online: https://www.vdi.eu/guidelines/vdivde_2634_blatt_2-optische_3_d_messsysteme_bildgebende_systeme_mit_flaechenhafter_antastung/ (accessed on 28 November 2018).
(The German standard VDI/VDE 2634 Part 2 (“Optical 3D measuring systems”) is, in fact, the only recognised standard providing a number of guidelines for the acceptance and verification of optical 3D measuring systems.)
