---
# System prepended metadata

title: 質檢專案
tags: [國泰專案]

---

# 質檢專案

###### tags: `國泰專案`

![](https://i.imgur.com/gIUwfB0.jpg)

## 技術評估
1. **使用物件偵測技術，偵測業務員 & 客戶的臉**
2. **使用物件偵測技術，偵測業務員是否有戴口罩，使用物件偵測技術，偵測登錄證**
3. 需使用語音識別技術
4. 需使用語音識別技術
5. **使用物件偵測技術，偵測客戶是否有戴口罩，使用物件偵測技術，偵測身分證明文件**
6. 需使用語音識別技術
7. 需使用語音識別技術
8. 需使用語音識別技術
9. 需使用語音識別技術
10. **使用辨識技術辨識是否出現簽完名後的 bar，間接推斷客戶是否有簽名**
11. **通過物件偵測技術偵測客戶的臉，最後，系統會產生質檢報告，質檢員在判斷畫面是否清晰**
12. 較難實作
13. 較難實作
14. 要保人、被保人、授權人需人工判斷
15. 要保人、被保人、授權人需人工判斷
16. 要保人、被保人、授權人需人工判斷
17. **與 10 類似**
18. 較難實作
19. 較難實作 


## 考量點
1. 準確度
2. 速度


## 實作流程
1. **證件**：模型一負責偵測各式證件（身分證、工作證、居住證、健康證）
   :::info
   1. **語音模型**可作為輔助，這樣模型就不用整個影片都掃，只要掃關鍵片段就好了
   2. 需要人工標註：身分證、工作證、居住證、健康證（各 300 張）
   3. 可以先提供這四種類型卡片的範本
   :::
   ![](https://i.imgur.com/NU5x3DE.png)
   
   ![](https://i.imgur.com/WyuTD2e.jpg)


2. **人臉**：出示身分證後 1～ 3 秒鐘內，模型二偵測沒戴口罩的人臉，形成**證件與人臉的一對一映射** 
   :::warning
   1. 確保 1～3 秒鐘內各人員的相對位置沒有發生任何變化
   2. 多給幾個影片做確認
   :::
   ![](https://i.imgur.com/ROMkAQ2.png)

   
3. **簽名**：訓練 sign bar 偵測模型，以此判斷客戶簽名的時間點

   ![](https://i.imgur.com/WydYVN6.png)


   

   :::info
   1. 不用 OCR 模型原因：
      + OCR 判斷準確度不高
      + OCR 推理時間長，不適合影片質檢
   2. 需人工標注 sign bar 圖片（分類問題）
   :::

4. **證件號碼辨識**：使用 OCR 模型預測
   :::info
   1. 放在最後，因為這個任務難度最大
   2. OCR 準確度存疑，如果準確度不夠高，有做等於沒做（ > 99%）
   :::
   

## 報告
1. 假設影片有 n 個人，最後會生成 n 對時間點（理想情況下），每對時間點分別為某個人 
   + 出示證件的時間點 
   + 沒戴口罩的時間點
   
     :::info
     1. 兩時間點間隔在 3 秒內
     2. 用時間點而不擷取畫面原因在於擷取的畫面可能不清楚，使用時間點的方式業務員可在時間點前後選擇較清楚的畫面
     :::
3. 生成簽名 sign bar 的時間點
4. *辨識證件號碼

## 其他考量因素
1. 模型在某些 frame 可能會偵測錯誤，如何善用影片的的性質來彌補



## 問題
1. 事先知道影片中有幾個人嗎？
2. 2500 張 id card 是只要標註卡片嗎？還是連卡片的字母也要標註？

![](https://lh3.googleusercontent.com/IAF9TWT4nf6dbXVmppGsK9hPh6KzwdCjLsM5-sHLtIDDbVeSXZTVodMsZIg19yv-HRigmmEcjLJ8puTuJ8__Q8R0v1V8IeivhUN1eW8PLiGkKe8ysxnCw2KLNSFBJcjguY1pDMMAvxQPmHffP6BuM0DsDHAmgR1W5c42FsTerePsromTt8K7YWv_RmwzxepR=s2048)

## 參考連結
1. [口罩資料集](https://www.kaggle.com/datasets/andrewmvd/face-mask-detection)
2. [mask detection model](https://github.com/spacewalk01/yolov5-face-mask-detection)
3. [簡報](https://docs.google.com/presentation/d/1YT_O7ge8lRv4tVStJ4AabjeRwquPOJvPqqhrRmgxwLA/edit#slide=id.g1c7ce856cbf_1_20)
4. [國壽簡報](https://docs.google.com/presentation/d/1D-EvKmQofJB3pH7D8va4A_SjLQjaq9G6/edit?usp=share_link&ouid=104198469704386088374&rtpof=true&sd=true)