這是一個具有一層隱藏層的神經網路：

假設

• 輸入層有 3 個節點，輸入 X 中有 3 筆數據，其標籤為 Y：
  
  $$X=\left[\begin{array}{ccc}1& 2& 0\\ 2& -3& 2\\ -1& -1& 3\end{array}\right],Y=\left[\begin{array}{c}1\\ 2\\ -3\end{array}\right]$$

$$W_1=\left[\begin{array}{cc}-1& 0\\ -1& 1\\ 1& -1\end{array}\right]$$

• 隱藏層有 2 個節點，隱藏層權重矩陣為
  $W_1$，線性組合
  $Z=X{W}_1$，
  經過激活函數
  $\sigma$ 後的值為
  $K$，即
  $K=\sigma (Z)$
• 另激活函數
  $\sigma$ 為
  $Relu$ 函數，
  $\sigma (x)=Relu(x)=max(x,0)$
• 輸出層有 1 個節點，其權重矩陣為
  $W_2$，線性輸出
  $O=K{W}_2$

$$W_2=\left[\begin{array}{c}1\\ -2\end{array}\right]$$

• 將輸出值與標籤去計算損失，令損失為
  $J$，假設使用加總型式的最小平方損失

$$J=\sum (\frac{1}{2}(O-Y{)}^2)$$

此時，已知輸出層梯度：

$$G_{out}=\frac{\partial J}{\partial O}=O-Y$$

• 隱藏層梯度：

$$\begin{array}{rl}{G}_2& =\frac{\partial J}{\partial W_2}=\frac{\partial J}{\partial O}\frac{\partial O}{\partial W_2}\\ \\ & =((G_{out}{)}^T\cdot K{)}^T=K^T{G}_{out}\end{array}$$

• $Relu$ 函數的微分式：

$${\sigma }^{\prime }(x)=\{\begin{array}{l}0x<0\\ 1x\ge 0\end{array}$$

• 先假定一個暫存的
  $G_{temp}$ ：

$$G_{temp}=(G_{out}\cdot W_2^T)\circ {\sigma }^{\prime }(Z)$$

其中的

$\cdot$ 代表一般的矩陣乘法、

$\circ$ 代表阿達瑪乘積，為對應位置的矩陣元素乘積

• 輸入層梯度：

$$\begin{array}{rl}{G}_1& =\frac{\partial J}{\partial W_1}=\frac{\partial J}{\partial O}\frac{\partial O}{\partial K}\frac{\partial K}{\partial Z}\frac{\partial Z}{\partial W_1}\\ \\ & =(((G_{out}\cdot W_2^T)\circ {\sigma }^{\prime }(Z){)}^T\cdot X{)}^T\\ \\ & =((G_{temp}{)}^T\cdot X{)}^T\\ \\ & =X^T{G}_{temp}\end{array}$$

• 可用
  $G_1,G_2$ 梯度更新權重
  $W_1,W_2$ 的值，得到新權重
  $W_1^{new},W_2^{new}$，

假設我們採用隨機梯度下降法來進行更新，且學習率令為

$0.1$，則

$$\{\begin{array}{l}{W}_1^{new}=W_1-0.1\times G_1\\ W_2^{new}=W_2-0.1\times G_2\end{array}$$

問題

求矩陣

$Z,K,O,G_{out},G_2,{\sigma }^{\prime }(Z),G_{temp},G_1,W_1^{new},W_2^{new}$

求解過程皆省略公式推導過程，將直接使用最終結果代入計算

---

$Z$

由線性組合

$Z=X{W}_1$：

$$\begin{array}{rl}Z& =X{W}_1\\ \\ & =\left[\begin{array}{ccc}1& 2& 0\\ 2& -3& 2\\ -1& -1& 3\end{array}\right]\cdot \left[\begin{array}{cc}-1& 0\\ -1& 1\\ 1& -1\end{array}\right]\\ \\ & =\left[\begin{array}{cc}-3& 2\\ 3& -5\\ 5& -4\end{array}\right]\end{array}$$

---

$K$

由經過激活函數

$\sigma$ 後的值

$K=\sigma (Z)$，且激活函數

$\sigma$ 為

$Relu$ 函數，

$\sigma (x)=Relu(x)=max(x,0)$：

$$\begin{array}{rl}K& =\sigma (Z)\\ \\ & =\sigma (\left[\begin{array}{cc}-3& 2\\ 3& -5\\ 5& -4\end{array}\right])\\ \\ & =\left[\begin{array}{cc}0& 2\\ 3& 0\\ 5& 0\end{array}\right]\end{array}$$

---

$O$

輸出層有 1 個節點，其權重矩陣為

$W_2$，由線性輸出

$O=K{W}_2$：

$$\begin{array}{rl}O& =K{W}_2\\ \\ & =\left[\begin{array}{cc}0& 2\\ 3& 0\\ 5& 0\end{array}\right]\cdot \left[\begin{array}{c}1\\ -2\end{array}\right]\\ \\ & =\left[\begin{array}{c}-4\\ 3\\ 5\end{array}\right]\end{array}$$

---

$G_{out}$

由輸出層梯度

$G_{out}=O-Y$：

$$\begin{array}{rl}{G}_{out}& =O-Y\\ \\ & =\left[\begin{array}{c}-4\\ 3\\ 5\end{array}\right]-\left[\begin{array}{c}1\\ 2\\ -3\end{array}\right]\\ \\ & =\left[\begin{array}{c}-5\\ 1\\ 8\end{array}\right]\end{array}$$

---

$G_2$

由隱藏層梯度

$G_2=K^T{G}_{out}$，其中

$K^T$ 為 矩陣

$K$ 的轉置：

$$K=\left[\begin{array}{cc}0& 2\\ 3& 0\\ 5& 0\end{array}\right],K^T=\left[\begin{array}{ccc}0& 3& 5\\ 2& 0& 0\end{array}\right]$$

$$\begin{array}{rl}{G}_2& =K^T{G}_{out}\\ \\ & =\left[\begin{array}{ccc}0& 3& 5\\ 2& 0& 0\end{array}\right]\cdot \left[\begin{array}{c}-5\\ 1\\ 8\end{array}\right]\\ \\ & =\left[\begin{array}{c}43\\ -10\end{array}\right]\end{array}$$

---

${\sigma }^{\prime }(Z)$

其中

${\sigma }^{\prime }$ 為

$Relu$ 函數的微分式：

$${\sigma }^{\prime }(x)=\{\begin{array}{l}0x<0\\ 1x\ge 0\end{array}$$

$$\begin{array}{rl}{\sigma }^{\prime }(Z)& ={\sigma }^{\prime }(\left[\begin{array}{cc}-3& 2\\ 3& -5\\ 5& -4\end{array}\right])\\ \\ & =\left[\begin{array}{cc}0& 1\\ 1& 0\\ 1& 0\end{array}\right]\end{array}$$

---

$G_{temp}$

由假定暫存的

$G_{temp}=(G_{out}\cdot W_2^T)\circ {\sigma }^{\prime }(Z)$
其中的

$\cdot$ 代表一般的矩陣乘法、

$\circ$ 代表阿達瑪乘積，為對應位置的矩陣元素乘積，且

$W_2^T$ 為矩陣

$W_2$ 的轉置：

$$W_2=\left[\begin{array}{c}1\\ -2\end{array}\right],W_2^T=\left[\begin{array}{cc}1& -2\end{array}\right]$$

$$\begin{array}{rl}{G}_{temp}& =(G_{out}\cdot W_2^T)\circ {\sigma }^{\prime }(Z)\\ \\ & =(\left[\begin{array}{c}-5\\ 1\\ 8\end{array}\right]\cdot \left[\begin{array}{cc}1& -2\end{array}\right])\circ \left[\begin{array}{cc}0& 1\\ 1& 0\\ 1& 0\end{array}\right]\\ \\ & =\left[\begin{array}{cc}-5& 10\\ 1& -2\\ 8& -16\end{array}\right]\circ \left[\begin{array}{cc}0& 1\\ 1& 0\\ 1& 0\end{array}\right]\\ \\ & =\left[\begin{array}{cc}0& 10\\ 1& 0\\ 8& 0\end{array}\right]\end{array}$$

---

$G_1$

由輸入層梯度

$G_1=X^T{G}_{temp}$，其中

$X^T$ 為 矩陣

$X$ 的轉置：

$$X=\left[\begin{array}{ccc}1& 2& 0\\ 2& -3& 2\\ -1& -1& 3\end{array}\right],X^T=\left[\begin{array}{ccc}1& 2& -1\\ 2& -3& -1\\ 0& 2& 3\end{array}\right],$$

$$\begin{array}{rl}{G}_1& =X^T{G}_{temp}\\ \\ & =\left[\begin{array}{ccc}1& 2& -1\\ 2& -3& -1\\ 0& 2& 3\end{array}\right]\cdot \left[\begin{array}{cc}0& 10\\ 1& 0\\ 8& 0\end{array}\right]\\ \\ & =\left[\begin{array}{cc}-6& 10\\ -11& 20\\ 26& 0\end{array}\right]\end{array}$$

---

$W_1^{new},W_2^{new}$

• 可用
  $G_1,G_2$ 梯度更新權重
  $W_1,W_2$ 的值，得到新權重
  $W_1^{new},W_2^{new}$，
  已知我們採用隨機梯度下降法來進行更新，且學習率為
  $0.1$，則

$$\{\begin{array}{l}{W}_1^{new}=W_1-0.1\times G_1\\ W_2^{new}=W_2-0.1\times G_2\end{array}$$

$$\begin{array}{rl}{W}_1^{new}& =W_1-0.1\times G_1\\ \\ & =\left[\begin{array}{cc}-1& 0\\ -1& 1\\ 1& -1\end{array}\right]-0.1\times \left[\begin{array}{cc}-6& 10\\ -11& 20\\ 26& 0\end{array}\right]\\ \\ & =\left[\begin{array}{cc}-1& 0\\ -1& 1\\ 1& -1\end{array}\right]-\left[\begin{array}{cc}-0.6& 1\\ -1.1& 2\\ 2.6& 0\end{array}\right]\\ \\ & =\left[\begin{array}{cc}-0.4& -1\\ 0.1& -1\\ -1.6& -1\end{array}\right]\end{array}$$

$$\begin{array}{rl}{W}_2^{new}& =W_2-0.1\times G_2\\ \\ & =\left[\begin{array}{c}1\\ -2\end{array}\right]-0.1\times \left[\begin{array}{c}43\\ -10\end{array}\right]\\ \\ & =\left[\begin{array}{cc}-1& 0\\ -1& 1\\ 1& -1\end{array}\right]-\left[\begin{array}{c}4.3\\ -1\end{array}\right]\\ \\ & =\left[\begin{array}{c}-3.3\\ -1\end{array}\right]\end{array}$$

---

點擊回到導覽頁面

---