AI模型可信嗎? 模型調整的困境

講者: Terence Huang
Email: [e-mail]

tags: MOPCON 2019 Day2-Unconf

---

現行大部分公司AI開發流程

熱門議題->RD接到任務->建立模型(深度學習)

• 如果有好結果: 上線(長官開心) -> 真實世界: 沒看過的資料、雜訊、操作錯誤->出包(長官大怒)
• 如果結果不好: 修改模型、條參數、改架構、換模型

疑問:

• 明明模型訓練很棒
• 那篇paper結果很棒，怎麼會失敗

可能是:

• overfitting
• 模型用錯

模型真的對嗎?

LRP(Layer-wise relevance propagation)

• 將loss透過反向傳播
• 判斷每個pixel和unit與便是結果的關聯性
  DEMO: http://heatmapping.org/mnist.html

---

DeepExplain: https://github.com/marcoancona/DeepExplain

怎麼修正

• 只知道哪裡是不夠的，還要知道怎麼修正
• 只靠改模型不行嗎?
  • 深度學習太複雜，可能你改了A，他自己在B修正回來
  • 數學家還跟不上，還沒開發出一套流程
• 目前可以:
  • 觀察錯誤區域的特性
  • 確認: 特性只發生在判斷錯誤的資料上嗎?

會眾提問

判斷模型好壞的定量標準：看資料特性（各領域不同）
非圖像方法，如何判斷
優先調參?還是先改架構?