{%hackmd @kk6333/theme-sty1 %}
###### tags: `ML數學分部`

# 非線性分類 - 神經網路 Neuron 與資料維度的 Mapping

本文想探討神經網路 Neuron 節點，在非線性數據分布的分類影響

## 1. 二維到二維

當今天要分類的 data 是非線性分布，
只用一條 linear 線是無法做出分類的，所以一條不行就用兩條 !

- Ex :

> 我們知道一個神經網路的 neuron 就是一個 linear 方程式
> 等於說我們在這邊定義了一個擁有兩個 neuron 的 layer
> 通常還會加上 **activation function** ，這邊暫定當 <font color=red>***$g(x)>0$ 輸出是 1 、 $g(x)<0$ 輸出為 0***</font>

- **神經網路示意圖**

> 我們可以說以上 Data 經過 Layer 1 後會從[ **2 維空間** ] Mapping 到了 [ **2 維空間** ]
> 最後要輸出分類結果，會在定義一個 $g(y)$ 也就是輸出層，
> 又會將 y 從 [ **2 維空間** ] Mapping 到 [ **1 維空間** ]

- **神經網路示意圖**

<br>

## 2. 二維到三維

從二維空間 Mapping 到同樣維度好像沒甚麼感覺
但當我們需要三條線才能將 Data 做分類時，就是將 Data Mapping 到三維空間了

> 以下就是用 $g_1(x)$、$g_2(x)$、$g_3(x)$ 做出的分類

- Ex:

> 我們將 $y_i=g_i(x)$ 化成 $y_i$ 的座標圖
> ( $y_1$ , $y_2$ , $y_3$ )
> 也就可以看出從二維 Mapping 到三維


<br>

## 3. Summary

以此類推可以得知，單一 Layer 中的神經元多寡就代表了 Mapping 到的維度大小
當低維度資料映射到高維度時，便可較輕易將不同類別的資料分開

推導可以看成以下想法
1. 每個 neuron ( perceptron ) 都是一條低維分類器
2. 當很多個低維分類器做分類，產生的值 ( $y_1,y_2$ ... ) 可以看成是 Mapping 到新的維度


<br>

## 4. 補充 : Capacity of the $l$-demensional
這邊簡單補充，當我們將資料 Mapping 到 $l$ 維度時，
形成的 Hyperplane 可以做多少類別的分類呢 ? 應該說，最多可以分成多少類 ?

此答案可以使用 Cover's Theorem 求出

:::info
$O( N,l )$ 可以算出分出的類別數量
> // N : 資料數

$$O( N,l )=2\sum^l_{i=0}\dbinom{N-1}{i}=\frac{(N-1)!}{(N-1-i)!i!}$$

算出來就會是在 $l$ 維 HyperPlane 最多可以將 $N$ 個資料分成幾類
:::

<br>

## 5. Reference

- Pattern Recognition 4th Ed. (2009)