---
# System prepended metadata

title: Book_Statistic2ML_Chapter12
tags: [Book_Statistic2ML]

---

---
title: 'Book_Statistic2ML_Chapter12'
disqus: hackmd
---
[讀者天地 - 機器學習的統計基礎](https://hackmd.io/@TommyHuang/book_statistics2ML)
> [name=黃志勝 Chih-Sheng (Tommy) Huang]
* [作者Medium Blog](https://chih-sheng-huang821.medium.com/)

本書「機器學習的統計基礎」出版社為旗標科技股份有限公司

**此份筆記為[讀者天地 - 機器學習的統計基礎](https://hackmd.io/@TommyHuang/book_statistics2ML)用來作為書本內容修正紀錄**

---
這章節因為有一個推導在偏微分index沒有考慮到，有寫錯(感謝讀者老師找到錯誤)，所以修改錯誤會比較多

[TOC]

# 第12章 倒傳遞學習法Backpropagation

## 12.1 最小化損失函數以找出權重參數

## 12.2 隱藏層到輸出層的梯度
1. page 12-6<br>
![image](https://hackmd.io/_uploads/BysBs_W-gx.png)
修改 (sum拿掉)<br>
![image](https://hackmd.io/_uploads/B16DjuW-gx.png)

2. page 12-6<br>
![image](https://hackmd.io/_uploads/Hkn5oOWWlg.png)
修改 (sum拿掉)<br>
![image](https://hackmd.io/_uploads/H1MhsuZ-xx.png)

## 12.3 輸入層到隱藏層的梯度

1. Page 12-7<br>
![image](https://hackmd.io/_uploads/S13CjdW-ex.png)<br>
修改 (加上sum)<br>
![image](https://hackmd.io/_uploads/rJRy3dWWlx.png)<br>

2. Page 12-7<br>
![image](https://hackmd.io/_uploads/B1-WnuWbel.png)<br>
修改 (加上sum)<br>
![image](https://hackmd.io/_uploads/BJAZn_b-gx.png)<br>

3. Page 12-7<br>
![image](https://hackmd.io/_uploads/HJe3fhOW-gg.png)<br>
修改 (sum拿掉)<br>
![image](https://hackmd.io/_uploads/B1H43_Z-xl.png)<br>

4. Page 12-8<br>
![image](https://hackmd.io/_uploads/HyOc2d-Wxl.png)<br>
修改後<br>
![image](https://hackmd.io/_uploads/ryA3hdZbee.png)

5. Page 12-8<br>
![image](https://hackmd.io/_uploads/HJNyadWZlx.png)
修改後<br>
![image](https://hackmd.io/_uploads/HyNgaub-lx.png)

6. Page 12-9 圖修改 (圖12.2 倒傳遞學習法是從輸出層回推，並更新前面層的參數)<br>
![image](https://hackmd.io/_uploads/r1lTVauZ-ee.png)




## 12.4 用範例實作前向傳遞與倒傳遞
### 12.4.1 前向傳遞計算預測值
### 12.4.2 用倒傳遞學習法反推以更新權重
### 12.4.3 用更新後的權重參數再做前向傳遞

## 12.5 梯度消失與梯度爆炸


###### tags: `Book_Statistic2ML`
