# 矽品追蹤測試結果 ## 測試1. 只標記晶片 標記方式:不論晶片好壞,皆標記成同樣label seadeeep測試成效:皆抓取到晶片 追蹤成效(threshold=0.15):不佳,大部分晶片抓取不到 ## 測試2. 更改晶片label 標記方式:壞晶片的部分改成不同label名稱 seadeep測試成效:皆抓取到晶片,但**判斷錯誤**抓取成同樣label名稱 ## 測試3. 更改晶片label後,擴增照片數量至200多張 seadeep測試成效:皆抓取到晶片,且判斷正確 追蹤成效(threshold=0.15): 1. 可以抓取到晶片 2. 追蹤編號會跑掉,在跳到下一張圖時**編號會對不上** ## 測試4. 增加其他物件的標記 標記方式:增加標記中心位置、上方及下方螺絲、箭頭 追蹤成效(threshold=0.15):與上一個差異不大 ## 測試5. 更改讀取圖片順序 依照圖片名稱進行讀取,避免編號對不上 追蹤成效(threshold=0.15): 1. 跟上一個比編號大致上皆對上 2. 增加標記的抓取結果不佳 3. 移動後的下一張圖會重新編號成1而非原本2,如下圖 ![result_19-1](https://hackmd.io/_uploads/H1sP2gNzeg.jpg) ![result_18-1](https://hackmd.io/_uploads/SkUr2xEMlx.jpg) ## 測試6. 包含動作4、5並擴增訓練圖片數量 seadeep測試成效:皆成功抓取判斷正確,信心度0.25 追蹤成效(threshold=0.15):與上一個差異不大,箭頭依然會出現抓不到的問題 ![螢幕擷取畫面 2025-05-28 144740](https://hackmd.io/_uploads/HyeUfVEGxl.png) ![螢幕擷取畫面 2025-05-28 144750](https://hackmd.io/_uploads/H1BUME4Mee.png) ## 測試7. 新增標記+ retrain ### Round-1 * 標記方式:增加標記圖片最左、最右的上下兩個洞與兩個螺絲。 * retrain:t250528-633(測試6的最新模型)。 * 使用權重檔:t250528-637 * 追蹤程式:tool.py * seadeep測試成效:皆成功抓取判斷正確,信心度0.25 * 追蹤成效(threshold=0.15):因為有追蹤到其他東西(如箭頭、螺絲等標記),所以每列的數字都不相同,最上方的洞洞被判定為第一列,如下圖。 <small> ※ 因LEDA APP擴增時出問題,所以僅使用原圖訓練 + retrain </small> ![image](https://hackmd.io/_uploads/H1VtfSizel.png) ### Round-2 * 使用權重檔:t250528-637 * 追蹤程式:tool_new.py * 追蹤成效(threshold=0.15):問題同上,甚至第一行不知為何開始亂排。 ※ tool_new.py:蕎安修改,用以精進照片讀取順序。 ![image](https://hackmd.io/_uploads/BJxshSEQxl.png) ### 結論 * 狀況: 1. 使用蕎安修改過的程式tool_new.py進行追蹤,一樣會抓取到其他用來定位的洞與螺絲。 2. 如果用來追蹤的照片只有少數張,追蹤的會比較精準,以4張跑追蹤跟15張跑追蹤結果會不一樣。 * 推測: 使用蕎安最後一版權重檔633測試,追蹤結果與他的相同,因此推斷: 1. 目前所使用從SeaDeep推論上下載的照片是可用來追蹤的,但目前只能以少數張來跑會追蹤得更準。 2. 因為t250528-637的模型有很多其他定位標記(包含箭頭、點點、洞洞),所以未來可能不能使用太多東西來定位,或是需要修改程式讓其以其他標記定位但只追蹤晶片。 - 嘗試修改程式讓它只追蹤晶片不追蹤其他定位標記,但結果不理想,完全畫不出東西來,明天再重新確認目標需求為何,看是要每張第一個顯示1-1,還是要接續顯示下去。 --- ### 未來方向 待討論完後決定,目前可能會以修改標記為主,修改程式的可行度較低。 --- 0610待討論事項: 1. 有抓到定位點(如測試7的圖片),本身是可行的嗎? -> 可以 程式部分請俊俊調整即可 2. 因為被切到的晶片目前都沒有標記,需不需要將被切到部分的晶片也標進去,以提升模型成效。 -> 因為目前版本有判斷OK/NG 所以不能辨識到切過的 3. 確認下一張照片追蹤是否是要從1-1開始顯示,重新確認想要的結果。 * 我用蕎安修改過讀取方式的圖片跑出來反而是亂的,因此想要確認一下讀取要從左上開始還是哪裡開始。 -> 這個應該是因為配合實際UI 有點倒敘法的感覺 是正常的(主要是看前後兩張的追蹤有沒有跑掉) 5. 如果使用人工標記,從1-1、1-2這樣開始慢慢人工標記,而不標記定位點與中線等,以SeaDeep訓練完的模型來說,這樣的方式是否可行? -> 因為要考慮 ## 相關連結 [SeaDeep推論結果這裡看](https://www.seadeep.ai/project/p241205-039/infer/i250528-647) [DOE紀錄](https://leda-office.seadeep.ai/oo/r/12sh234U7xZjetjporq9Drbdo19Ry8HT#tid=15) [檔案位置](https://leda-office.seadeep.ai/d/f/13hNHqOb2NvPu3VS0WrbSiqoohqyHBUi)