# Day 64-65
###### tags: `cupoy`, `ML100`
:::info

+
+ 2022-06-23 20:00
:::
[TOC]

## Day-64 深度學習體驗 : 模型調整與學習曲線

+ 經由平台的操作，了解深度學習效果的觀察指標
+ 體驗類神經模型形狀：加深與加寬的差異
+ 理解輸入特徵對類神經網路的影響
+ tensorflow playground 介紹

https://playground.tensorflow.org

一些測試:




螺旋形資料:

加深一層
改成relu 加深加廣 feature 增加

參考資料:
https://youtu.be/xki61j7z-30

## Day-65 深度學習體驗：啟動函數與正規化

+ 深度學習體驗平台
+ [TensorFlowPlayGround](https://playground.tensorflow.org/)

+ 超參數
+ 批次大小(Batch size)
+ 批次大小很小時，雖然收斂過程非常不穩定，但平均而言會收斂到較好的結果，但計算時間會相當久，因此通常會依照時間需要而折衷
+ 學習速率(Learning rate)
+ 學習速率越大 : 學習曲線越**不穩定**、但**收斂越快**，但是與批次大小不同的是，學習速率大於一定以上時，**有可能**不穩定到**無法收斂**
+ 啟動函數(Activation)
+ 當類神經網路層數不多時，啟動函數 Sigmoid / Tanh  的效果比 Relu 更好
+ 正規化(Regularization)
+ L1 / L2 正規化在非深度學習上效果較明顯，而**正規化參數較小才有效果**

### 作業

+ 選擇分類資料集(右下)-螺旋雙臂 - 交錯六群，限定特徵只能使用前兩個，隱藏層 2 層滿 (共 8 * 2 =16 個神經元)，
遞迴次數只允許跑到500次，但可以自由調整 批次大小、學習速率、啟動函數、正規化選項與參數
+ 在上述限制下，挑戰看看測試誤差 (Test Loss) 最低能到多少? 請回答你的上述幾項參數與 Test Loss 數