## 測試說明 這次的測試主要是評估PoseFormerV2在「三維姿態估測」方面的能力。延續上個題目所實作的伏地挺身計數器,這次另找了幾個從不同角度進行拍攝的伏地挺身示範影片,來對它們在PoseFormerV2的輸出結果進行分析(以gif檔表示)。 ## 輸出結果 ### 1. 正面視角 ![push-up_001](https://hackmd.io/_uploads/Bkx3ouWq3T.gif) #### 分析 以正面視角進行拍攝時,人物的下半身會頻繁地被軀幹遮住,而在輸出結果中,可以看到PoseFormerV2並不能很好地繪製出腰部以下的身體姿態(不自然的膝部彎曲),而且後半還有出現「手臂合併」的錯誤辨識(或許是動作變化太快所致),這兩點可以說是有待克服的問題。 ### 2. 側面視角 ![push-up_002](https://hackmd.io/_uploads/Hy_-qbchp.gif) #### 分析 在側面視角中,人物僅有右側軀體被遮蔽,繪製出的三維身體姿態與實際影像十分相近,說明了PoseFormerV2在輕微遮蔽的情況下仍能預判身體姿態的可能位置。而對於伏地挺身計數器來說,這一點可以幫助計數器精進為「雙邊動作評估」——同時對左右兩側的軀體進行動作估測,藉以更準確地進行計數和動作提示。 ### 3. 介於 1 和 2 之間的視角 ![push-up_003](https://hackmd.io/_uploads/r1aVhZ926.gif) #### 分析 此外,在介於正面和側面的視角中,PoseFormerV2所描繪出的三維身體姿態品質也介於兩者之間。其膝部的彎曲角度雖仍有些過於放大,但並不如正面視角那般辨識失敗,仍有一定的可信度。 ### 4. 多人出現的正面視角 ![push-up_004](https://hackmd.io/_uploads/S14k-Gq36.gif) #### 分析 在多人出現的影像中,PoseFormerV2僅會取其中一人進行估測。而在這次的正面視角中,人物的下半身雖仍會頻繁地被遮住,但其膝部的landmarks一直都處於可見狀態,這也使得PoseFormerV2繪製的三維姿態,在膝部以上相當準確,只有小腿的部分會異常擺動。由此可以推測,PoseFormerV2相當依賴landmarks進行姿態繪製,這點相較MediaPipe或OpenPose的預判能力遜色了點。 ### 5. 總結 在預判能力方面,PoseFormerV2的能力並沒有比MediaPipe或OpenPose來得突出,但PoseFormerV2的三維姿態估測能力,使它能夠進行更精準的全身估測。在預判能力的缺陷,或許有賴於拍攝時不斷的移動視角,獲取更多資訊以建立姿態;又或者能將其與MediaPipe或OpenPose結合,似乎也不失為一個解決方法。 ## 心得 這次的題目推廣了姿態估測器的應用層面,並提供了精進上個項目(伏地挺身計數器)的途徑。不過除了伏地挺身以外,我想三維姿態估測器更可以在虛擬實境、演員動作捕捉、機器人操控中得到更多發展。畢竟有了空間概念後,估測器便能更準確的分析人物的動作、與環境的互動,這方面的發展相當值得期待。