HackMD
Exploring the Theoretical Foundations of Deep Learning - Mark Chang
從這開始
- p.11 Optimization T 夠大 error 就會接近 0
- p.12 每收集一次資料就會進行 update
- p.14 了解 training data 的特性
- p.19 label 是否有標好，對 error 影響很大
- p.20 label noise越來越多，error就越來越大
- p.20 分類要做好：需label跟特徵有明顯關係（跟傳統理論不同，原理論覺得model越大，越會過擬合）
- p.21 分類是 1-1，該如何推理？-> 讓AI給出推理過程，推理結果正確性會提高
- p.22 Training Data中沒這個答案，就會答錯 -> 改成學中間過程（告訴model，請他顯出過程
- p.23 引導過程的方法
- p.24 不是一次就算出答案，而是依過程調整
- p.26 訓練小問題，可擴展到大問題（但如果有error，也會漸漸被放大，以致推理出錯）
- p.28 推理出錯
