---
title: 第一章|Deep Learning 學習基礎 Nikhil Buduma
tags: Deep Learning
---

# 線性分類器/線性感知器

# 單一神經元

- 輸入： **x**
- 權重： **w** 或 $\mathbf{\theta}$
- logit 值： z = ${\textstyle \sum_{i=0}^{n}}w_{i}x_{i}$
- 偏差值： b
- 神經元輸出$y=f(\mathbf{x} \cdot \mathbf{w} )+b$

# 正向饋送神經網路 / feed-foward Network(FFN)

同層間沒有連接，也沒有高層往低層
只有低層往高層

- 輸入層
- 隱藏層
- 大部分的魔都發生在這裡
- 通常數量比輸入層少，這樣可以強迫神經網路學習原始輸入壓縮後的表達方式
- 就跟人類大腦運作的原理很像，像是視覺的部分
- 輸出層

一層中，神經元的輸出不一定要連到下一層全部的神經元，選擇誰連誰是一門藝術

# 線性神經元

如果 FFN 全由線性神經元組成，他一定可以改以另一個沒有隱藏層的網路來表示
這樣魔法就不見了

# 非線性神經元

## Sigmoid / S 型

$$
f(z)=\frac{1}{1+e^{-z}}
$$

## Tanh

比 Sigmoid 常用

$$
f(z)=\frac{e^{z}-e^{-z}}{e^{z}+e^{-z}}
$$

## ReLU

最近(2017)成為首選的神經元

$$
max(0,z)
$$

# Softmax 輸出層

特殊的輸出層

輸出和同層中的其他神經元有關，是讓輸出值的總和為 1 的魔法

$$
y_{i}=\frac{e^{z_{i}}}{ {\textstyle \sum_{j}^{}e^{z_{j}}} }
$$

i 是指第 i 個 Softmax 神經元

上面的柿子可以達到 Normalization 的效果