---
# System prepended metadata

title: Day 64-65
tags: [cupoy, ML100]

---

# Day 64-65
###### tags: `cupoy`, `ML100`
:::info

+ 
+ 2022-06-23 20:00
:::
[TOC]

## Day-64 深度學習體驗 : 模型調整與學習曲線



+ 經由平台的操作，了解深度學習效果的觀察指標 
+ 體驗類神經模型形狀：加深與加寬的差異
+ 理解輸入特徵對類神經網路的影響
+ tensorflow playground 介紹
![](https://i.imgur.com/w9EyMbv.png)

https://playground.tensorflow.org

一些測試:

![](https://i.imgur.com/9QF1qoe.png)

![](https://i.imgur.com/lDoNaV2.png)

![](https://i.imgur.com/PBF1WQv.png)

螺旋形資料:

![](https://i.imgur.com/5f73OOt.png)
加深一層
![](https://i.imgur.com/y3PSUx9.png)
改成relu 加深加廣 feature 增加
![](https://i.imgur.com/uIjohB1.png)
![](https://i.imgur.com/6NXz9Fm.png)


參考資料:
https://youtu.be/xki61j7z-30



## Day-65 深度學習體驗：啟動函數與正規化


+ 深度學習體驗平台
	+ [TensorFlowPlayGround](https://playground.tensorflow.org/)

+ 超參數
	+ 批次大小(Batch size)
		+ 批次大小很小時，雖然收斂過程非常不穩定，但平均而言會收斂到較好的結果，但計算時間會相當久，因此通常會依照時間需要而折衷
	+ 學習速率(Learning rate)
		+ 學習速率越大 : 學習曲線越**不穩定**、但**收斂越快**，但是與批次大小不同的是，學習速率大於一定以上時，**有可能**不穩定到**無法收斂**
	+ 啟動函數(Activation)
		+ 當類神經網路層數不多時，啟動函數 Sigmoid / Tanh  的效果比 Relu 更好
	+ 正規化(Regularization)
		+ L1 / L2 正規化在非深度學習上效果較明顯，而**正規化參數較小才有效果**

### 作業

+  選擇分類資料集(右下)-螺旋雙臂 - 交錯六群，限定特徵只能使用前兩個，隱藏層 2 層滿 (共 8 * 2 =16 個神經元)，  
    遞迴次數只允許跑到500次，但可以自由調整 批次大小、學習速率、啟動函數、正規化選項與參數
+   在上述限制下，挑戰看看測試誤差 (Test Loss) 最低能到多少? 請回答你的上述幾項參數與 Test Loss 數


![](https://i.imgur.com/KuhrLPm.png)


