# 如何使用人體姿態檢測模型( Human Pose Estimation Model )做單人脊椎檢測 - 大綱 #### 前言 內容大綱: 將簡述目前在人體檢測的應用上,以本案為例:在針對人體脊椎進行「脊椎側彎」、「骨盆前傾」等相關病症檢測時,由於受檢項目多樣且繁瑣,如下圖所示。 目前部分場域由人員進行檢核,耗時過長,可使用人體姿態檢測模型來改善此問題。 ![](https://i.imgur.com/H4Jte32.jpg) 學習目標: - 了解人體姿態檢測模型應用多樣 - 激發學員思考AI模型可改善目前產業迫切需解決的問題 #### 課程一: 入門 Human Pose Estimation Model 內容大綱:根據年份與關聯性介紹「Stacked Hourglass Network」、「AlphaPose」兩種模型 ##### <b>『Stacked Hourglass Network』 基於Hourglass Network的架構,將圖片透過多次的Top-Down與Bottom-Up 來進行人體關鍵點的檢測,如架構圖所示。 | 架構圖 | |:------:| | ![](https://i.imgur.com/2SMABcb.jpg) |![](https://i.imgur.com/z2dmVH1.jpg) | 檢測結果| ![](https://i.imgur.com/fctwQVb.jpg) --- ###### Newell, A., Yang, K., & Deng, J. (2016, October). Stacked hourglass networks for human pose estimation. In European conference on computer vision (pp. 483-499). Springer, Cham. --- ##### <b>「AlphaPose」 提出三個架構來解決在Regional Multi-Person Pose Estimation (RMPE)中 Bounding Box的框選的位置不正確的問題: (1) Symmetric Spatial Transformer Network (SSTN) (2) Parametric Pose Non-Maximum-Suppression (NMS) (3) Pose-Guided Proposals Generator (PGPG) | 架構圖 | |:------:| | ![](https://i.imgur.com/PQOj5sX.jpg) |![](https://i.imgur.com/S9VsoVB.png) | 檢測結果| ![](https://i.imgur.com/DTtOvh2.jpg) --- ###### Fang, H. S., Xie, S., Tai, Y. W., & Lu, C. (2017). Rmpe: Regional multi-person pose estimation. In Proceedings of the IEEE international conference on computer vision (pp. 2334-2343). --- 並簡述如何透過人體檢測模型進行人體脊椎偏移檢測。 學習目標: - 了解人體檢測模型的近年發展 - 分辨在不同需求下,適用的模型為何 #### 課程二:實作 Human Pose Estimation Model 內容大綱:帶領學員透過Google Colab來使用人體姿態檢測模型 執行單人姿態檢測,可自行帶入圖像進行檢測,檢測結果如下圖所示。 可呈現關鍵點與人體對應位置並顯示於圖像。 執行結果範例: ![](https://i.imgur.com/MCJSLWk.jpg) | 人體關鍵點 | 將點帶入原圖顯示 | |:------------------------------------:|:------------------------------------:| | ![](https://i.imgur.com/bTte6sX.png) | ![](https://i.imgur.com/MN32NHI.png) | | | | 學習目標: - 學習如何使用 Human Pose Estimation Model 範例 #### 課程三:如何運用 Human Pose Estimation Model 來檢測脊椎偏移 內容大綱:將簡述上一堂課程的結果,說明可定義標準,根據檢測結果來對比結果差異,得出人體偏移情況 可使用餘弦定理來計算「頭部」、「脖子」、「脊椎」三點角度。 本堂課將帶領學員透過Google Colab來執行脊椎檢測。 學習目標: - 進一步如何使用人體檢測模型除了可以預測行人所在位置外,更可以應用於其他問題。