# DevCup 專案摘要與成果簡述文字檔

### 摘要
- 本專案的目標：基於 OpenVINO 之深度 3D 人體重建應用於助聽器選配解決方案。
- 提案動機:
- 數位醫療、遠端醫療的興起，加上台灣未來即將面臨的超高齡社會，對於 AI 應用於醫療產業之前瞻技術部署是十分重要的挑戰。參考華科基金會於 2019 年提出 65 歲以上的高齡失能性聽損比例已超過四成，未來高齡聽損者人數激增狀況可以想見。實耳測量(REM)是目前唯一準確調整助聽器的唯一黃金標準，但礙於時間人力成本、空間限制等痛點使得實耳測量無法大量施行。
- 解決方案:
- 硬體: Intel Nuc i7-1165G7、攝影裝置
- 軟體: Intel OpenVINO Toolkit (2022)、 Intel DevCloud
- 根據國外文獻指出人體頭部特徵與個案資訊能夠預測耳道形狀導致共振狀況 (RECD)，為實耳測量之選配、調整之重要參數。因此本專案使用隱含式三維人體建模技術基於 RGB 影像建立 3D 人體模型，並透過頭部 refine 模組針對重點部位進行細節調整來達到數位替身之願景，並對數位醫療作出前瞻應用探討。透過此非接觸的 AI 聽力輔助選配技術，來解決實耳測量於臨床上的痛點，並藉由 OpenVINO 的優化來部署於真實應用場域(偏鄉服務或是移動聽檢站)，讓技術實際落實於跨專業執行。

### 成果簡述文字檔
- **技術**
- 為了達成三維人體建模技術，我們使用 PIFu [1] 模型作為 Backbone，該深度模型使用隱函表示法 (Implicit Function) 來對 RGB 中的每個像素做三維空間的映射轉換，達成建模之目的。
- 
- 給定三維點 X，透過特徵提取器 F() 即相機深度 z() 可在 3D occupancy field 中藉由 MLP f() 來重建人體模型
- 
- 在 3D occupancy field 中表示 0~1 的機率來敘述模型表面

- 對於實耳測量 (REM) 之關鍵數據接來自頭部，因此頭部的精細程度是頗為重要，因此結合 Refine Module [2]，對於臉部與頭部進行優化，也因為 PIFu 可做為深度神經網路的 Head [3] 因此可以加入特徵優化後的隱含式再進行轉換。
- **實作**
- 本專案使用 Intel Nuc(Core i7-1165G7) 透過 OpenVINO 將模型轉換優化至 FP32 與 FP16 的中間檔，本專案是基於 FP16 作為最終使用模型。
- 

- 在 PIFu 模型中有一 Component 為 Surface Classifier 的 MLP 模型，負責對於三維 occupancy field 中的取樣點的表面估測，因每次迭代取樣點數不同，因此使用 OpenVINO 2022 的 "Dynamic Shapes" 來動態改變輸入 Shape 因而適應動態取樣。
- 
- 
- REF: https://docs.openvino.ai/latest/openvino_docs_OV_UG_DynamicShapes.html
- 最後我們使用 Gradio 來視覺化呈現深度 3D 人體重建應用於助聽器選配解決方案之成果，**個案僅輸入單張 RGB 影像及基本資訊**，即可透過 OpenVINO 優化後的深度網路進行人體建模，除了全身整體也針對頭部進行優化，並模擬後續回歸出的 REM 重要參數，供聽力師選配或是 OCT 助聽器的調整。
- 
- 
- 為了評估性能，我們也使用 benchmark_app 針對此專案模型進行測量，我們一共評比了三種情境 : 無優化模型於 CPU 執行、使用 OV 優化後於 CPU 執行、使用 Nvidia 2080 Super 執行，經過數據顯示優化後除了模型變小 (FP16)外，執行速度更是達到 4.34 倍，詳細的數據報告於附件中。
- 

- 此專案**展現了使用 OpenVINO 優化深度模型並應用於助聽器選配之解決方案並部署於 Intel Nuc 實機執行**，除了優化實耳測量，解決成本、人力、空間等痛點外，更展現了前瞻的數位醫療與數位替身應用，並且除了醫療領域，更能應用於不同場域(更多應用於附件中)，未來可創造出更多潛在價值與商業應用。

### 執行 OpenVINO 證明資訊
- Intel Nuc (Core i7-1165G7)
- 
- hello_query_device
- 
- benchmark_app
-