AI模型可信嗎? 模型調整的困境

講者: Terence Huang
Email: Terence0408@gmail.com

tags: `MOPCON 2019` `Day2-Unconf`

現行大部分公司AI開發流程

熱門議題->RD接到任務->建立模型(深度學習)

如果有好結果: 上線(長官開心) -> 真實世界: 沒看過的資料、雜訊、操作錯誤->出包(長官大怒)
如果結果不好: 修改模型、條參數、改架構、換模型

疑問:

明明模型訓練很棒
那篇paper結果很棒，怎麼會失敗

可能是:

overfitting
模型用錯

模型真的對嗎?

LRP(Layer-wise relevance propagation)

將loss透過反向傳播
判斷每個pixel和unit與便是結果的關聯性
DEMO: http://heatmapping.org/mnist.html

DeepExplain: https://github.com/marcoancona/DeepExplain

怎麼修正

只知道哪裡是不夠的，還要知道怎麼修正
只靠改模型不行嗎?
- 深度學習太複雜，可能你改了A，他自己在B修正回來
- 數學家還跟不上，還沒開發出一套流程
目前可以:
- 觀察錯誤區域的特性
- 確認: 特性只發生在判斷錯誤的資料上嗎?

會眾提問

判斷模型好壞的定量標準：看資料特性（各領域不同）
非圖像方法，如何判斷
優先調參?還是先改架構?