# 本週進度
1. 解析Graph Convolutional Networks for Assessment of Physical Rehabilitation Exercises看要怎麼把評分的部分放到我們的框架
2. 找3D skeleton的論文--黃
3. 研究怎麼跑一個專案--王
4. 研究怎麼連實驗室電腦--楊

# 本週內容

### 問題
* 甘特圖

### 3D骨架辨識
[3D Graph Convolutional Feature Selection and Dense Pre-Estimation for Skeleton Action Recognition](https://ieeexplore.ieee.org/document/10398170)(2024)
* [github](https://github.com/wizardbo/3D-GSD)
* 3D圖卷積特徵選擇和密集預測(3D-GSD)，分析和識別人體骨骼的運動軌跡
#### 貢獻
* 3DSKNet根據輸入的影像學習和選擇骨架中的重要特徵，更準確識別不同重要性的骨架
* DensePose演算法偵測人體姿勢的複雜關鍵點。優化動作識別的準確性
#### 資料集
* The NTU RGB+D 60 SKeleton dataset：給人體動作辨識的骨架資料集，包含60種不同的動作
* The NTU RGB+D 120 Skeleton dataset：常用於人體動作辨識的資料集，包含60個單人動作和60雙人動作，動作有跳躍、伸展、揮手、行走、交叉雙臂、握拳等
#### 技術
* [MS-G3D、MS-GCN、MS-TCN](https://medium.com/人工智慧-倒底有多智慧/論文閱讀-cvpr-2020-disentangling-and-unifying-graph-convolutions-for-skeleton-based-action-dcd009733f8c)
* 3DSKNet：3D卷積神經網路的注意力機制，可以自適應地學習骨架序列中的重要特徵，更好地專注於關鍵骨架部分和動作序列，而忽略一些乾擾以及一些不相關的關節等不重要部分，這有助於提高骨架識別的準確性和穩健性。主要包括三個階段，分別是分割階段、融合階段和選擇階段。
* 
* 分割階段：主要對輸入特徵圖進行尺度不變處理，並根據分支數量添加不同核的卷積操作。首先，將輸入特徵圖X劃分，得到多個子特徵圖，每個子特徵圖對應一個卷積核。根據分支數量M，將輸入特徵圖分為M部分作為輸入。例如：對於第i個分支，採用(2i+1)×(2i+1)×(2i+1)×3大小的卷積核進行卷積操作，step size為1，padding為1。拼接所有分支的特徵圖，得到大小為M×T×V×H×H×out_channels的特徵圖，其中T表示時間步數，V表示關節點數，H表示空間維度的大小（高度和寬度），out_channels表示輸出通道維度。
* 融合階段：首先將所有分支獲得的不同尺度的特徵相加，生成維度為[N,C',T,V,M]的混合特徵U；再將U進行三維自適應池化，將特徵壓縮到指定維度1，得到維度為[N,C',1,1,M]的S。再將上一步所得的結果壓縮為[N,C']，然後利用全連接層將維度降維至L，得到標量d，公式為：d = Max {L, W4 (Squeeze (U))}。（W4表全連接層，Squeeze表將特徵的維度壓縮為2）
* 選擇階段：將融合階段輸出的特徵U分裂運算分為兩個特徵a和b。再壓縮第二維（通道數）以獲得長度為通道數一半的兩個向量，分別表示為a'和b'。a′和b′分別按元素乘以權重向量，加權後的特徵V將更準確地表示整個特徵U。這個權重向量根據[softmax函數](https://hackmd.io/@OJo2ruXGShKdpuewtwzZcQ/ByYWmI3na#Softmax-函數介紹)將值對應到[0 1]範圍內，保證每個元素都在[0 1]範圍內且總和為1。
* [DensePose人體姿態預測模組](https://williamchiu0127.medium.com/論文閱讀筆記-人體姿態辨識-densepose-80117778f485)：使用DensePose估計輸入影像上的人體姿態可以更全面地分析人體姿態，主要分為三個階段：特徵提取、特徵與骨架特徵融合、姿態估計。
* 使用一系列卷積層（包括3個Conv2d和3個ConvTranspose2d）進行特徵提取和降維。
* 先提取384個特徵點，並用作骨骼序列的表示。執行Conv2d操作將特徵通道數從384個減少到256個，再執行兩次下採樣（透過刪除較多的樣本數，使兩個類別的樣本數量達到平衡）操作，將特徵尺寸減小到原始尺寸的1/4。
* 再執行三次Conv2d操作，將特徵圖的通道數分別減少到128、64、32個，然後使用3次ConvTranspose2d增加維度，得到最終的特徵圖。
* 

它們的結合可以獲得更準確、更完整的人體運動分析結果。
3DSKNet可以提供關鍵興趣點的位置和運動訊息，而DensePose可以估計更詳細的姿態和形狀資訊。

### 評分
廖:https://hackmd.io/@tk28QYFKR1W1XJ09QCd72A/BJkrKkIkJx

### 架構圖
>input和output要標示

# 1008會後檢討
1. 架構圖模糊，要確定我們要使用什麼model，以及加上每個model的I/O
2. 最後分數以及給使用者回饋的部分，要再清楚的定義、回饋的內容要確定（e.g.哪個手臂錯誤）
3. 甘特圖的骨架提取技術選擇包含得東西太廣泛，要再細分、排時程

# 下周預進度
楊：
王：
黃：
廖：

瑜珈資料集(正確錯誤)
找有文字修正提示的評分論文(不需要拘泥瑜珈)