### 神經網路學習過程一維可視化
#### 公式
#### 將使用這個函數來畫圖，將網路學習的軌跡畫出來：
$$
f(\alpha)=L(\theta(\alpha))
$$
##### 理解
可以發現 $\theta(\alpha)$ 中，當$\alpha$ = 0時，網路為初始值的狀態，隨著$\alpha$提升，會越來越接近訓練完的狀態（走直線），由此可以看到網路學習的軌跡

當 $\alpha$ 提升超過 1 時，就是對他未來方向的預測，假設後續學習也將照著這條軌跡前進，小於 1 反之

也可作為兩個解的差別來進行繪圖：

##### 符號定義
- $\theta$ ：神經網路的參數們，是網路的維度
- 被用於參數傳遞時，會使用以下定義：$$\theta = (1+\alpha)\theta_0+\alpha\theta_1$$
- 也可以用這個來將 $\alpha$ 作為參數傳遞：$\theta(\alpha)$
- $\theta_0$ 常使用初始化時的，$\theta_1$ 使用網路學習完後的
- $J(\theta)$ / $L(\theta)$ ：Loss function，基於給予的網路參數計算來的 loss 值

### References
[1] Goodfellow, I. J., Vinyals, O., & Saxe, A. M. (2015). Qualitatively characterizing neural network optimization problems. In ICLR, 2015. Citations: 505