# Regression

步驟
---
:::info
**Model**
- 找一個Function Set
- Function
- ex. **y=b+w~cp~**
- w和b是參數，可以是任何數值
- Linear Model
- ex. **y=b+$\sum_{}w_ix_i$**
- feature: x~i~ (input的object抽出來的數值)
:::

:::info
**Goodness of Fuction**
- 上標 : 編號；下標 : object的component
- input: x^1^；output: $\hat{y}$^1^
- 用hat表示正確的值
- loss function: 自己訂，看結果如何判斷好壞
- L(f) = L(w,b) = $$\sum_{n=1}^5 (\hat{y}^n-(b+w*x^n))^2$$
- 用估測誤差，來判斷Loss function
- 偏紅色、誤差大、function差、loss值大
- 範例:
- 
:::

:::info
**Best Function**
- f^*^: 選擇能讓L(f)最小的function
- 如何解Function找L(f)?
- 線性代數
- Gradient Descent (L是可微分的)
- 
:::

Gradient Descent(梯度下降)
---
:::success
**case1 (只有一個parameter)**
* function要可微並對function微分
* 若微分結果為負代表local min在x軸右側(相加)反之在左側(相減)因此使得下面公式
* w~n~ = w~n-1~ - $\eta$ $\dfrac{dL} {dw}$ w=w~n-1~ where $\eta$為learning rate(自訂)，而w~0~也為自訂
* 當微分結果為0時代表找到local min
* 若function為linear global min=local min
:::

:::success
**case2 (多個parameter)**
* 跟上述一樣但方法改成偏微分使得:
* w~n~ = w~n-1~ - $\eta$ $\dfrac{\delta L} {\delta w}$ w=w~n-1~
* b~n~ = b~n-1~ - $\eta$ $\dfrac{\delta L} {\delta b}$ w=b~n-1~

:::

名詞解釋
---

:::warning
**Overfitting**
- Model Select
- 越複雜的Model在訓練上也許會給予越好的結果(過度貼合訓練集)，卻不一定在測試的資料上也一樣好
:::

:::warning
**Underfitting**
- 模型過度簡單，無法貼合訓練集曲線
:::

:::warning
**Regularization**
- $y = b + \sum w_{i}x_{i}$
- $L=\sum\limits_{n}{(\hat{y}^n-(b+w \cdot x^n_{cp}))^2}+\color{#df8500}{\lambda\sum(w_{i})^2}$
預期function w參數值小(趨近0)，使輸出對輸入的變化較不敏感、較平滑

:::
###### tags: `ML2020`