AI CUP MANGO FAQ

• AI CUP MANGO FAQ Image Not Showing Possible Reasons The image file may be corruptedThe server hosting the image is unavailableThe image path is incorrectThe image format is not supported Learn More →
  • 【關於競賽資格】
    • 從學生身分畢業
    • 國外學籍
  • 【關於競賽內容】
    • 分類任務
    • 分類準則
  • 【關於操作】
    • 資料下載
    • 組隊
  • 【關於驗證】
    • 原始碼
    • 檔案格式
    • 驗證環境
    • 評估標準
    • 等級分類競賽的資格篩選
  • 【關於測試集Test set】
    • 2020/6/12將開放下載初賽測試集資料、測試集Baseline、開放上傳預測答案

歡迎各位來這裡解答心中的疑惑！
如果看完還是沒找到答案，歡迎你到 AI CUP 2020｜愛文芒果影像辨識雙項競賽 討論區 發問，小編會儘快回答你！

加入社團了嗎？還沒的話趕快加入吧

【關於競賽資格】

從學生身分畢業

Q： 比賽時程長達一年，如果報名的時候具有學生身分，但頒獎時已畢業怎麼辦？
A： 學生獎金得獎隊伍於敘獎時檢附報名時間點的學生身分證明即可！

國外學籍

Q： 在國外念書算是學生隊伍還是業界隊伍呢？
A： 因為獎金由教育部頒發，所以必須具中華民國學籍才有學生獎金得獎資格，若在國外念書，可以當作是業界隊伍來競爭喔！

---

【關於競賽內容】

分類任務

Q： 兩項競賽「三類等級分類」與「五類不良品分類」都是同時有classification（分三或五類）和detection（框出瑕疵）的任務？還是只有分類？
A： 兩項競賽都是只有classification任務喔！三類等級分類辨識競賽是區分三種等級，五類不良品分類辨識競賽是區分五種不同瑕疵。

分類準則

Q： 兩項競賽「三類等級分類」的 ABC 級有什麼準則嗎？
A： 可參考圖片及以下敘述：

• A：完全沒有瑕疵，色澤均勻漂亮
• B：色澤不均，瑕疵範圍若可以一個拇指蓋住，還是可以賣的狀況，都是B。
• C：不能賣，只要有黑斑、炭疽病、爛，都算是C。
  （瑕疵指的是圖中的所有病種）

Q： 決賽資料之等級的標籤範例（Grade sample）?　
A： train.csv, dev.csv 內之標籤如圖所示，pos_x, pos_y為點座標；width, height為以（pos_x, pos_y）中心向右向下延伸之方框寬與長。

另外，提醒大家，因為現今篩果容易有偏誤，目前並沒有芒果分級的正式規定及通則，以經驗為主，本次雖然特地邀請資深篩果專家協助標記，但評比等級、病種難易度高且人工作業難免有偏誤，競賽方有收到參賽者回報極少數標註不正確的影像，向大家說聲抱歉，目前也正在確認資料，並重新標註，若資料有更新，會再通知大家！

---

【關於操作】

AIdea 競賽平台 FAQ：https://aidea-web.tw/faq

資料下載

Q： 請問為什麼無法下載資料？
A： 於平台註冊後，需要在「簡介」頁面右側點選「報名」，報名完成後才能下載資料喔！

組隊

Q： 怎麼把隊友加進我的隊伍？
A： 到「組隊」頁面的右側搜尋他的隊伍名稱，就可以向他隊送出組隊邀請！（參賽者會以一人一隊、隊長的身份進入議題，隊名預設為 id 名稱，可以先提醒你的隊友設定一個容易搜尋的隊名！）

---

【關於驗證】

原始碼

Q： 一定要上傳原始碼檔案嗎？截圖行不行？
A： 因為主辦方需要跑過模型來驗證成績，所以會要求提供完整的檔案喔！

檔案格式

Q： 檔案類型有規定嗎？
A： 程式碼請上傳 txt 或是 py 檔！上傳 test predict label （測試集答案）時，檔案格式則以csv為主。

驗證環境

Q： 請問驗證的執行環境主辦方會處理嗎？
A： 在驗稱得獎團隊之程式碼時，需請隊伍提供每個 package 使用的版本，以供主辦單位重現結果。
可參考主辦單位於第一階段 data 和 baseline 釋出時，同步提供的 package 版本註記。

Q： 請問有指定的機器學習框架嗎？
A： 框架並無限制（tensorflow, pytorch, keras等等），如 package，只須於註解清楚標註該版本即可。

評估標準

Q： 請問評分標準 WAR 是什麼？Weighting factor of each class 是指什麼？
A： 在機器學習分類問題裡，我們根據不同的需求定義不同的評估標準，然而常因每一類別總數不同導致需要根據該類別的數目作評分標準的修正，在此Weighting factor指的是每一類佔總資料數的比例，以下舉例：

$WAR={\displaystyle \frac{15}{65}}\times {\displaystyle \frac{10}{15}}+{\displaystyle \frac{20}{65}}\times {\displaystyle \frac{15}{20}}+{\displaystyle \frac{30}{65}}\times {\displaystyle \frac{20}{30}}={\displaystyle \frac{10+15+20}{65}}=Accuracy$

其中

${\displaystyle \frac{15}{65}},{\displaystyle \frac{20}{65}},{\displaystyle \frac{30}{65}}$ 分別為 A, B, C 類各類別資料數目，即 weighting factor。另外 Development baseline 文件（DevBaseline 中的 Accuracy 即上述提到之 WAR，兩者相同。）

等級分類競賽的資格篩選

Q： 請問初賽會如何篩選隊伍？
A： 本次競賽並沒有篩選機制，但是隊伍的成績須超過我們所公布的 baseline 才具獲獎資格！

【關於測試集Test set】

2020/6/12將開放下載初賽測試集資料、測試集Baseline、開放上傳預測答案

1. 開放等級辨識競賽 1600 張測試集影像資料。
2. 公佈官方測試集 Baseline、以官方模型跑出之測試集準確率（WAR, 也就是Accuracy），若參賽隊伍預測準確率未達該標準得由決選評審委員決議。
3. 上傳文件內容需是 key=[image_id, label] 之 csv 檔案，image_id column 為官方提供之測試集照片檔名、label column為 空。官方將於該時間點附上上傳預測答案之範例檔test_example.csv，需使用者自行填上預測之答案，並上傳至平台，即可得知辨識準確率。

---

tags: AI CUP FAQ 0602