# Gradient Descent :::info ## 複習 ![](https://i.imgur.com/VRCQkIV.png) ::: :::info ## 方法一：調整learning rate - 可以作圖觀察rate的合適度 - ![](https://i.imgur.com/XbfLmIC.png) - 自動調整 - 隨著參數的更新越來越小(開高走低) - 每個參數都給不同的learning rate - Adagrad: 每一個參數的learning rate，都去除上前面微分值的平方平均數(root mean square)。 缺點：越來越慢。 :::spoiler - 公式： ![](https://i.imgur.com/nKIO778.png) - 範例： ![](https://i.imgur.com/s0VId5v.png) - 推論: ![](https://i.imgur.com/8oqGW3d.png) ![](https://i.imgur.com/4b2vUkn.png) ::: ::: :::info ## 方法二 : Stochastic Gradient descent ![](https://i.imgur.com/nBJlh78.png) ::: :::info ## 方法三 : Feature Scaling - 作法 ![](https://i.imgur.com/CyNgOjZ.png) - 理論 較大的參數對輸出的影響越大，通過正規化解決。 ![](https://i.imgur.com/TbUIupE.png) ::: --- ##### 備註： [好心人筆記](https://sakura-gh.github.io/ML-notes/ML-notes-html/5_Gradient-Descent.html) [好心人筆記2](https://github.com/Sakura-gh/ML-notes) ###### tags: `ML2020`