# 質檢專案

###### tags: `國泰專案`


## 技術評估
1. **使用物件偵測技術，偵測業務員 & 客戶的臉**
2. **使用物件偵測技術，偵測業務員是否有戴口罩，使用物件偵測技術，偵測登錄證**
3. 需使用語音識別技術
4. 需使用語音識別技術
5. **使用物件偵測技術，偵測客戶是否有戴口罩，使用物件偵測技術，偵測身分證明文件**
6. 需使用語音識別技術
7. 需使用語音識別技術
8. 需使用語音識別技術
9. 需使用語音識別技術
10. **使用辨識技術辨識是否出現簽完名後的 bar，間接推斷客戶是否有簽名**
11. **通過物件偵測技術偵測客戶的臉，最後，系統會產生質檢報告，質檢員在判斷畫面是否清晰**
12. 較難實作
13. 較難實作
14. 要保人、被保人、授權人需人工判斷
15. 要保人、被保人、授權人需人工判斷
16. 要保人、被保人、授權人需人工判斷
17. **與 10 類似**
18. 較難實作
19. 較難實作

## 考量點
1. 準確度
2. 速度

## 實作流程
1. **證件**：模型一負責偵測各式證件（身分證、工作證、居住證、健康證）
:::info
1. **語音模型**可作為輔助，這樣模型就不用整個影片都掃，只要掃關鍵片段就好了
2. 需要人工標註：身分證、工作證、居住證、健康證（各 300 張）
3. 可以先提供這四種類型卡片的範本
:::


2. **人臉**：出示身分證後 1～ 3 秒鐘內，模型二偵測沒戴口罩的人臉，形成**證件與人臉的一對一映射**
:::warning
1. 確保 1～3 秒鐘內各人員的相對位置沒有發生任何變化
2. 多給幾個影片做確認
:::

3. **簽名**：訓練 sign bar 偵測模型，以此判斷客戶簽名的時間點


:::info
1. 不用 OCR 模型原因：
+ OCR 判斷準確度不高
+ OCR 推理時間長，不適合影片質檢
2. 需人工標注 sign bar 圖片（分類問題）
:::

4. **證件號碼辨識**：使用 OCR 模型預測
:::info
1. 放在最後，因為這個任務難度最大
2. OCR 準確度存疑，如果準確度不夠高，有做等於沒做（ > 99%）
:::

## 報告
1. 假設影片有 n 個人，最後會生成 n 對時間點（理想情況下），每對時間點分別為某個人
+ 出示證件的時間點
+ 沒戴口罩的時間點

:::info
1. 兩時間點間隔在 3 秒內
2. 用時間點而不擷取畫面原因在於擷取的畫面可能不清楚，使用時間點的方式業務員可在時間點前後選擇較清楚的畫面
:::
3. 生成簽名 sign bar 的時間點
4. *辨識證件號碼

## 其他考量因素
1. 模型在某些 frame 可能會偵測錯誤，如何善用影片的的性質來彌補

## 問題
1. 事先知道影片中有幾個人嗎？
2. 2500 張 id card 是只要標註卡片嗎？還是連卡片的字母也要標註？


## 參考連結
1. [口罩資料集](https://www.kaggle.com/datasets/andrewmvd/face-mask-detection)
2. [mask detection model](https://github.com/spacewalk01/yolov5-face-mask-detection)
3. [簡報](https://docs.google.com/presentation/d/1YT_O7ge8lRv4tVStJ4AabjeRwquPOJvPqqhrRmgxwLA/edit#slide=id.g1c7ce856cbf_1_20)
4. [國壽簡報](https://docs.google.com/presentation/d/1D-EvKmQofJB3pH7D8va4A_SjLQjaq9G6/edit?usp=share_link&ouid=104198469704386088374&rtpof=true&sd=true)