## 2D → 3D EP.1
[急](https://hackmd.io/@q_bRZRi5Q2iTv2zdBQYQHg/Sk7gXKp2gg)

### 資料集
[PoseFormerV2](https://github.com/QitaoZhao/PoseFormerV2) 是一個 2D-to-3D lifting 模型，專門設計用於將 2D 關節點序列轉換為 3D 姿態估計。
* data_2d_h36m_gt.npz： Human3.6M 資料集的 2D ground truth 關鍵點資料，包含人工標註或從 3D 資料投影得到的準確 2D 關鍵點位置。
* data_2d_h36m_cpn_ft_h36m_dbb.npz：在 Human3.6M 資料集上微調過的 CPN 模型 (cpn_ft_h36m_dbb) 所產生的 2D 姿態估計結果。
* data_3d_h36m.npz： Human3.6M 資料集的 3D ground truth 姿態資料，包含世界座標系下的 3D 關節位置,在訓練過程中會被轉換到相機座標系。

要先下載 [Human3.6M](http://vision.imar.ro/human3.6m/description.php) 的官方數據集，然後透過 [VideoPose3D](https://github.com/facebookresearch/VideoPose3D/tree/main) 的腳本生成 data_3d_h36m.npz 和 data_2d_h36m_gt.npz 這兩個文件，並從 AWS 手動下載 data_2d_h36m_cpn_ft_h36m_dbb.npz
執行完 PoseFormerV2 後可以生成 data_3d_h36m.npy 和 data_3d_h36m_test.npy
:::spoiler PoseFormerV2
* MPJPE：平均每個關節點的預測位置與真實位置的誤差
* P-MPJPE：對齊後的誤差，越低說明模型在姿態結構預測上表現良好
* N-MPJPE：歸一化後的誤差，越接近 MPJPE 表示尺度預測較準確
* MPJVE：相鄰幀之間關節點速度的平均誤差，數值越小表示運動越平滑
:::

---

### 結果
:::spoiler data
:::

**HumanMAC**
[github](https://github.com/LinghaoChan/HumanMAC)
論文
2D → 3D

| 指標 | 論文 | 2D → 3D | 變差的幅度(%) |
|:-----:|:------:|:------:|:-----:|
| APD ↑ | 6.2247 | 6.0459 | 2.87% |
| ADE ↓ | 0.3683 | 0.3937 | 6.90% |
| FDE ↓ | 0.4806 | 0.5078 | 5.66% |
| MMADE ↓ | 0.5124 | 0.5367 | 4.74% |
| MMFDE ↓ | 0.5454 | 0.5686 | 4.25% |

**STARS**
[github](https://github.com/Sirui-Xu/STARS)
論文
2D → 3D

| 指標 | 論文 | 2D → 3D | 變差的幅度(%) |
|:-----:|:------:|:------:|:-----:|
| APD ↑ | 15.886 | 14.273 | 10.16% |
| ADE ↓ | 0.358 | 0.396 | 10.53% |
| FDE ↓ | 0.445 | 0.485 | 8.96% |
| MMADE ↓ | 0.442 | 0.477 | 7.85% |
| MMFDE ↓ | 0.471 | 0.508 | 7.99% |