---
# System prepended metadata

title: 神經網路學習過程一維可視化

---

### 神經網路學習過程一維可視化
#### 公式
#### 將使用這個函數來畫圖，將網路學習的軌跡畫出來：
$$
f(\alpha)=L(\theta(\alpha))
$$
##### 理解
  可以發現 $\theta(\alpha)$ 中，當$\alpha$ = 0時，網路為初始值的狀態，隨著$\alpha$提升，會越來越接近訓練完的狀態（走直線），由此可以看到網路學習的軌跡
  
  當 $\alpha$ 提升超過 1 時，就是對他未來方向的預測，假設後續學習也將照著這條軌跡前進，小於 1 反之
![](https://hackmd.io/_uploads/BJl2-N9a2.png)


  也可作為兩個解的差別來進行繪圖：
![](https://hackmd.io/_uploads/ryDn-Nqa3.png)

##### 符號定義
- $\theta$ ：神經網路的參數們，是網路的維度
	- 被用於參數傳遞時，會使用以下定義：$$\theta = (1+\alpha)\theta_0+\alpha\theta_1$$
	-  也可以用這個來將 $\alpha$ 作為參數傳遞：$\theta(\alpha)$ 
	- $\theta_0$ 常使用初始化時的，$\theta_1$ 使用網路學習完後的
- $J(\theta)$ / $L(\theta)$ ：Loss function，基於給予的網路參數計算來的 loss 值


### References
[1] Goodfellow, I. J., Vinyals, O., & Saxe, A. M. (2015). Qualitatively characterizing neural network optimization problems. In ICLR, 2015. Citations: 505