## 最佳化設計筆記 CH3 最速下降法

### 最佳化與人工智慧的關係

一個人工智慧的算法，例如物件辨識、自然語言等都是在尋找各種資訊的特徵值，並依照比對的特徵來執行某些任務，那理所當然的【尋找】的邏輯算法就會非常重要

一個理想的演算法，要能【精確】、【快速】的運行，而通常情況下我們會希望這個算法會像一個迴圈一樣，一遍遍的收斂出最終的答案，例如當相機看到一個模糊的物體，AI會選擇再看一次，直到算法有信心確定物體是什麼

每次迴圈計算都會留下差值，稱作殘差( residual )，當殘差小於預設值後，便可確認其結果已收斂

### 最速下降法

接續前文 [最佳化設計筆記 CH2 牛頓法](/cuCV1IdYT5aNYgj2lNYERw)，我們引出了無約束優化問題中的最速下降法，其核心理念就是認為牛頓法本身在海森矩陣的運算過度吃計算資源，為此提出以常數替代矩陣的思路


## 程式詳解

本次程式碼多只比上次多一點，移除海森矩陣，修改海森矩陣為常數A(此A已在全域符號中被宣告為數學符號)，並帶入目標函數中

由於A本身也是梯度的常數，所以使用牛頓法收斂這數值，最後成功輸出

## 結語
本次程式碼比較簡單，區域劃分也很清楚，基本上只要理解牛頓法的核心理念(疊代公式)就可以輕鬆上手