## 測試說明 在評估MediaPipe、OpenPose、AlphaPose等估測器時,主要使用了以下6張圖片進行測試: 圖A  圖B  圖C  圖D  圖E  圖F  首先會依序分析各個估測器的輸出結果(主要分為臉部、手部、遮住部分),最後再以表格形式比較三者的優劣。 ## 1. MediaPipe ### 圖片測試結果 圖A  圖B  圖C  圖D  圖E  圖F  ### 分析 1. 臉部 從上面6張圖片的測試結果,可以看出MediaPipe對於圖A、B、C、D這類從正面拍攝的圖片均能準確地分析眼、鼻、嘴位置,然而對於圖E的側臉或圖F的俯瞰視角,MediaPipe的準確度並不高。 2. 手部 在遮蔽不多的圖片中,MediaPipe均有找到手部的正確位置,並區分大拇指與其他四指的位置。然而在圖C中,MediaPipe誤判了左手的位置,可能是圖片黑白的色彩混淆了判斷;而在圖E中,右手也有輕微的誤判,說明MediaPipe對於側身圖的分析能力較弱;至於圖F則因遮蔽部分過多,手部位置未能判斷成功。 3. 遮住部分 MediaPipe對於遮住部分能進行一定程度的預測,圖A(右小腿遮蔽)、C(左手臂遮蔽)、E(右大腿遮蔽)的預測結果與實際差異不大。不過圖F僅勉強預測出左手位置,被完全遮蔽的右手和鏡頭外的左小腿,均未能給出合理的預測結果。 4. 其他 MediaPipe的設計原先似乎是以單人照作為分析目標,因此在多人照的分析中,只能對其中一人進行分析。 ## 2. OpenPose ### 圖片測試結果 圖A  圖B  圖C  圖D  圖E  圖F  ### 分析 1. 臉部 OpenPose對於6張圖片的臉部分析均相當準確,MediaPipe主要偵測眼、鼻、嘴的位置,而OpenPose則為耳、鼻、眼(添加額外指令更可繪製完整五官)。 2. 手部 在添加額外指令後,OpenPose能夠將五指的動作各別區分,分析也近乎完全正確,僅在有所遮蔽時(如圖C的右手)會有些微的預測失誤。 3. 遮住部分 相較MediaPipe有意把整個分析模型套用進照片裡,OpenPose會把無法進行預測的遮蔽部分去除,這讓OpenPose在遇到圖F這類遮蔽較多的圖片時,預測較不會有嚴重誤差。然而,在圖A、E可以看到OpenPose誤判了腿部的實際位置,有「誤以為遮蔽部分無法預測」這個潛在問題。 ## 3. AlphaPose ### 圖片測試結果 圖A  圖B  圖C  圖D  圖E  圖F (無輸出結果) ### 分析 1. 臉部 AlphaPose的臉部分析與OpenPose相似,主要是對耳、鼻、眼的位置進行分析,不過若要進一步對完整五官進行分析,需使用其他模型。 2. 手部 如同OpenPose,基本模型的AlphaPose無法對手指的細節加以分析。 3. 遮住部分 AlphaPose在遇到遮住部分時,很容易將其直接忽略(例如圖A的右腳、圖B右側人員的右半身)。當遇到圖F這類遮蔽較多的圖片時,甚至無法進行辨識。話雖如此,AlphaPose有繪製出的部分基本上都是正確的,有時甚至能比MediaPipe精準(如圖C的左手、圖E的右手)。 4. 其他 MediaPipe和OpenPose均能分析腳掌的位置,然而AlphaPse的模型僅止於腳踝處。 ## 整體比較 | | MediaPipe | OpenPose | AlphaPose | | -------- | ------------------------------------------------ | ---------------------------------------------------------- | -------------------------------------- | | 臉部 | 能分析眼、鼻、嘴位置,但正面以外的視角準確度不高 | 在不同角度均能準確分析耳、鼻、眼位置(五官輪廓需額外指令) | 同OpenPose(但需使用其他模型分析五官) | | 手部 | 能區分大拇指與其他四指 | 能完整分析五指動作(需額外指令) | 無法辨識(需使用其他模型) | | 遮住部分 | 適合處理輕度遮蔽的圖像(處理重度遮蔽效果不佳) | 適合處理重度遮蔽的圖像(處理輕度遮蔽效果不佳) | 不適合處理有遮蔽的圖像 | | 多人分析 | 不可 | 可 | 可 | ### MediaPipe 總結來說,MediaPipe比較適合處理「全身入鏡的彩色個人圖像」。在這類圖像中,一些部位若被其他身體部分擋住(輕度遮蔽),基於MediaPipe偏向把完整模型置入圖像的特性,也能成功預測這些部位的位置。然而MediaPipe判斷「遮蔽部位是否能夠預測」的能力較弱,如果人物被自已以外的大型物體擋住(重度遮蔽),判斷結果便很可能失準。此外,MediaPipe對於相似色的判定並不如另外兩者來得好,因此不適合處理有特殊濾鏡效果的圖像(如黑白照片)。 ### OpenPose及AlphaPose 相較之下,OpenPose和AlphaPose能處理的圖像就不受限於色彩及人數。OpenPose則能藉由「去除無法預測之遮蔽部分」的能力來克服MediaPipe所遭遇的問題,但有時誤判了使用時機,反而會在一些輕度遮蔽的圖像中出現差錯。AlphaPose也有和OpenPose類似的問題存在,不過更為嚴重,甚至會在重度遮蔽的圖像中放棄預測。OpenPose和AlphaPose若能準確判斷遮蔽部分的預測能否,想必能有更進一步的發展。 ## 心得 在這次的題目中,我藉由操作各種估測器,對圖片進行分析,瞭解了人體姿態辨識的基本概念。除此之外,為了運行三種不同的估測器,需要設置不同的環境來進行操作,這也讓我對環境設置有了更深刻的認識。 在做完圖片分析後,我也找了一些比較影片,來了解不同估測器對動態圖像的分析情形(如[AlphaPoseとOpenpose比較(2020/02)](https://www.youtube.com/watch?v=-jywtLXED04)及[MediaPipe vs OpenPose (Human Pose Landmark Detection)](https://www.youtube.com/watch?v=X471QY9n7dA))。在看過這些影片後,感覺OpenPose的表現似乎比起另外兩者都要來得好,在接下來的題目或許能助一臂之力。
×
Sign in
Email
Password
Forgot password
or
By clicking below, you agree to our
terms of service
.
Sign in via Facebook
Sign in via Twitter
Sign in via GitHub
Sign in via Dropbox
Sign in with Wallet
Wallet (
)
Connect another wallet
New to HackMD?
Sign up