# [筆記] 機器學習 過度擬合問題 ( overfitting )

### 過度擬合 ( overfitting ) 與擬合不足 ( underfitting )


* 過度擬合 ( 右圖 )

* 特徵量過多，資料量過少

* 解決方法 :

1. 降低特徵量

* 人工檢查，保留較重要的特徵量
* 也有演算法 ( model selection algorithm ) 可以選擇何為較重要的特徵值

2. 正規化

* 可以保留所有的特徵量，但減少 θⱼ 的大小
* 當擁有需多有用的特徵量時，正規化是很有效的使所有特徵量都會有貢獻

* 擬合不足 ( 左圖 )

* 特徵量過少

### 正規化 ( Regularization )

#### 代價函數

原理 : 將 θⱼ 乘上較大的係數，可以使 θⱼ 大幅下降，降低一些特徵值的影響力

* 例如 :


* `θ₃`、`θ₄` 會大幅下降，甚至可以忽略
* `θ₀ + θ₁x + θ₂x² + θ₃x³ + θ₄x⁴` → `θ₀ + θ₁x + θ₂x²`


* 正規化後的代價函數
* λ 為正規化參數，如果過大會因為 θⱼ ( j ≠ 0 ) 全都趨近於 0 導致 underfitting

#### 正規化線性回歸 ( Regularized Linear Regression )


* 先將 `θ₀` 分離出來，因為正規化不須懲罰 `θ₀`
* 再加上正規化算式


* 將 `θⱼ` 提出來
* 此為正規化線性回歸

function [J, grad] = linearRegCostFunction(theta, X, y, lambda)

m = length(y);
J = 0;
grad = zeros(size(theta));

h = X * theta;
sqrErrors = (h - y) .^ 2;

shift_theta = theta(2:size(theta));
theta_reg = [0;shift_theta];

J = (1 / (2 * m)) * sum(sqrErrors) + (lambda / (2 * m)) * theta_reg' * theta_reg;

grad = (1 / m) * (X' * (h - y) + (lambda * theta_reg));

end

* 在 Octave 上的正規化線性回歸函式

#### 正規化正規方程 ( Regularized Normal Equation )


* 因為正規化不須懲罰 `θ₀`，所以最左上角為 0
* `λ⋅L` 可以使原本不可逆的 `XᵀX` 變成可逆的 `XᵀX + λ⋅L`

#### 正規化邏輯回歸 ( Regularized Logistic Regression )


* 邏輯回歸的代價函數正規化
* 梯度下降的方法跟正規化線性回歸大同小異

function [J, grad] = costFunctionReg(theta, X, y, lambda)

m = length(y);
J = 0;
grad = zeros(size(theta));

h = sigmoid(X * theta);
shift_theta = theta(2:size(theta));
theta_reg = [0;shift_theta];

predictions = - y' * log(h);
con_predictions = (1 - y)' * log(1 - h);

J = (1 / m) * (predictions - con_predictions) + (lambda / (2 * m)) * theta_reg' * theta_reg;

grad = (1 / m) * (X' * (h - y) + (lambda * theta_reg));

end

* 在 Octave 上的正規化邏輯回歸函式

###### tags: `筆記` `機器學習` `過度擬合問題`