---
title: 深度學習
tags: 線上, 尹
---
## L1 regularization
對梯度沒有貢獻
在梯度下降最佳化的程式中加入限制條件：正則化 L1 regularization，讓可選擇的範圍變小，去避免overfitting的可能性
L1=一次方
因為有了L1正則的懲罰項，因此傾向往部分權重靠攏，其餘變零
- 稀疏化結構有助於產生深度規則：在深度學習中，稀疏是好事，只使用一小部分，分散式學習
- 過度稀疏模型缺點：手機上使用模型不能太稀疏，稀疏意味儲存大小更大，稀疏不適合物聯網變圓細算跟手機使用
手機上的模型不要稀疏

## L2 regularization(L2正則又稱之為權重遞減)
L2=二次方
對梯度有貢獻 權重會均勻變小
權重越大 可能overfitting可能性大
權重越小 overfitting可能性小

因為有了L1正則的懲罰項，因此傾向往部分權重靠攏，其餘變零

L1正則讓大部分案例變零，變稀疏
L2正則讓大家均勻變零，權重變小
L2正則會更為有用

:::info
影響模型結果：
* 數據
* 模型結構
* 超參數
* 避免過擬合
* 最佳化方法
* 正歸化
* 活化函數
* 權重初始化
:::

---
Hello Mnist 深度學習的起始模型

mnist手寫數據集 檢測數字

pytorch每個都要寫一個class