---
# System prepended metadata

title: 5g 進度

---

# STGCN VS DGSTGCN

:::info
:bulb: 5G專案測試：動素、動作準確度，以及骨架三維資料格式。
:::

## :book:骨架三維資料(Realsense)

#### :small_blue_diamond: **Important!!!**
> 機械系需要其中一個點位，手部的第九點(大概是手心位置)
> 
> 傳輸方式：python socket
>
> 相機對於手部的真實位置(x, y, z以公尺表示)

#### :small_blue_diamond: data type: dictonary
```
{
    'pose_keypoints_3d': x1, y1, z1, x2, y2, z2 ... (33 joints),
    'hand_left_keypoints_3d': x1, y1, z1, x2, y2, z2 ... (21 joints),
    'hand_right_keypoints_3d': x1, y1, z1, x2, y2, z2 ... (21 joints),
}
```
#### :small_blue_diamond: x, y: 
>   來自mediapipe以正歸化浮點數表示0~1之間(可以用視窗大小回推成像素單位：像素座標x, y分別除上影像的長跟高w, h)
#### :small_blue_diamond: z:
>   來自realsense以浮點數表示(單位:公尺)
#### :small_blue_diamond: pose_keypoints_3d:
>    順序參照此圖![image](https://hackmd.io/_uploads/Hknb_M9ra.png)

#### :small_blue_diamond: hand_left_keypoints_3d, hand_right_keypoints_3d:
>    順序參照此圖![image](https://hackmd.io/_uploads/HkjS_f5rT.png)

## :pencil:動素與動作準確度

:::success
model's performance. 
:::

|**模型**|**模型驗證準確度**|**準確度**|**影片20230410_160412**|**影片20230410_160119**|**影片20230410_161126**|
|:---------:|:---------:|:---------:|:---------:|:---------:|:---------:|
|stgcn|90.42%|**動素**準確度|54%|55%|48%|
|stgcn|90.42%|**動作**準確度|86%|86%|88%|
|dg-stgcn|99.09%|**動素**準確度|65%|65%|47%|
|dg-stgcn|99.09%|**動作**準確度|92%|91%|94%|

## :pencil:綜合混淆矩陣(動作 Not Real...)
|**stgcn動素**|**stgcn動作**|
|:---------:|:---------:|
|![image](https://hackmd.io/_uploads/Hy_6ELsrT.png)|![image](https://hackmd.io/_uploads/B10DNUjSa.png)|
|![image](https://hackmd.io/_uploads/ByijNIiHT.png)|![image](https://hackmd.io/_uploads/Byn4V8sB6.png)|

|**dg-stgcn動素**|**dg-stgcn動作**|
|:---------:|:---------:|
|![image](https://hackmd.io/_uploads/H1vkXIir6.png)|![image](https://hackmd.io/_uploads/Sy_mm8sBp.png)|
|![image](https://hackmd.io/_uploads/SyZgz8iS6.png)|![image](https://hackmd.io/_uploads/S1oV7IoBa.png)|

## :pencil:綜合混淆矩陣(動作 Real...)
|**stgcn動作**|**dg-stgcn動作**|
|:---------:|:---------:|
|![image](https://hackmd.io/_uploads/H1ogOIirp.png)|![image](https://hackmd.io/_uploads/ryxPd8oB6.png)|
|![image](https://hackmd.io/_uploads/rkNydUjHa.png)|![image](https://hackmd.io/_uploads/Sk-Qu8jB6.png)|

