# [筆記] 機器學習 有效的改善模型

### 改善方法

* 取得更多訓練資料
* 嘗試較少的特徵量
* 嘗試較多的特徵量
* 嘗試多項式的特徵量
* 嘗試增加 λ
* 嘗試減少 λ

### 機器學習診斷法 ( Machine learning diagnostic )

#### 評估假設 ( Evaluating a Hypothesis )

* 我們的假設可能使訓練樣本的誤差較小，但仍然不準確 ( 因為過度擬合 )，這時就必須評估假設
* 為了評估假設，將訓練樣本分為兩組 :

1. 70% 的隨機數據當訓練集
2. 30% 的隨機數據當測試集

* 過程 :

1. 使用新的訓練集學習出 θ 和最小化的 J_train(θ)
2. 使用新的測試集計算出測試集錯誤率 ( The test set error ) J_test(θ)

* 測試集錯誤率 ( The test set error )

1. 線性回歸 :


2. 邏輯回歸 :


* 判斷是否錯誤


* 算出錯誤率

#### 模型選擇 ( Model selection )

* 鑑於具有需多不同的多項式模型，我們必須要有方法來做模型的選擇
* 將訓練樣本分為三組 :

1. 60% 的隨機數據當訓練集
2. 20% 的隨機數據當交叉驗證集 ( cross validation set )
3. 20% 的隨機數據當測試集

* 過程 :

1. 使用新的訓練集來學習出每個多項式的 θ 和最小化的 J_train(θ)
2. 使用新的交叉驗證集來計算出交叉驗證集錯誤率，找出錯誤率最小的模型 d
3. 最後使用新的測試集算出泛化誤差 J_test(θ(d))

* 此方法，測試集並沒有參與訓練

#### 分辨偏差與方差 ( Bias vs. Variance )


* 高偏差 ( High bias ) 屬於擬合不足 ( underfitting ) :

* J_train(θ)、J_CV(θ) 都很高
* J_train(θ) ≈ J_CV(θ)

* 高方差 ( High Variance ) 屬於過度擬合 ( overfitting ) :

* J_train(θ) 較低
* J_CV(θ) >> J_train(θ)

#### 如何選擇 λ


* 當 λ 過大時，會導致擬合不足，而當 λ 過小時，會導致過度擬合
* 如何選擇模型與 λ :

1. 先列出一個 λ 列表 ( 例如 : λ ∈ {0, 0.01, 0.02, 0.04, 0.08, 0.16, 0.32, 0.64, 1.28, 2.56, 5.12, 10.24} )
2. 建立一組擁有多項式的模型
3. 使用每個 λ，各學習出 θ ( 使用正規化學習 )
4. 使用交叉驗證集來算出錯誤率 J_CV(θ) ( 不使用正規化，或使 λ = 0 )
5. 選擇 J_CV(θ) 最低的作為最佳組合
6. 使用此最佳組合 θ、λ，查看在 J_test(θ) 上是否運作良好

function [lambda_vec, error_train, error_val] = validationCurve(X, y, Xval, yval)

% λ 列表
lambda_vec = [0 0.001 0.003 0.01 0.03 0.1 0.3 1 3 10]';

error_train = zeros(length(lambda_vec), 1);
error_val = zeros(length(lambda_vec), 1);

for i = 1:length(lambda_vec)

  % 使用每個 λ，各學習出 θ
  lambda = lambda_vec(i);
  theta = trainLinearReg(X, y, lambda);
  
  % 計算出訓練集與交叉驗證集的錯誤率
  error_train(i) = linearRegCostFunction(X, y, theta, 0);
  error_val(i) = linearRegCostFunction(Xval, yval, theta, 0);

endfor

end

* 在 Octave 上的選擇 λ 函式

#### 學習曲線

* 在極少數資料 ( 1、2 或 3 ) 的訓練集，容易產生錯誤率為 0，因為很容易找到符合這些資料的多項式，因此 :

* 隨訓練資料越多，函數的誤差增加
* 在到達某個資料量後，誤差值將穩定下來

* 高偏差 ( High bias ) :

* 資料量少 : J_train(θ) 較低，J_CV(θ) 較高
* 資料量多 : J_train(θ) ≈ J_CV(θ)，都很高
* 如果繼續增加訓練資料，並沒有太大改善


* 高方差 ( High Variance ) :

* 資料量少 : J_train(θ) 較低，J_CV(θ) 較高
* 資料量多 : J_train(θ) 隨資料量越大而增加， J_CV(θ) 隨著減少且不平穩，J_train(θ) < J_CV(θ)，兩個差異仍然很大
* 如果繼續增加訓練資料，有助於改善


function [error_train, error_val] = learningCurve(X, y, Xval, yval, lambda)

m = size(X, 1);

error_train = zeros(m, 1);
error_val = zeros(m, 1);


for i = 1:m

  X_train = X(1:i, :);
  y_train = y(1:i);
  
  % 訓練出 θ
  theta = trainLinearReg(X_train, y_train, lambda);
  
  % 計算出訓練集與測試集的錯誤率
  error_train(i) = linearRegCostFunction(X_train, y_train, theta, 0);
  error_val(i) = linearRegCostFunction(Xval, yval, theta, 0);

endfor

end

* 在 Octave 上的學習曲線函式

### 總結

* 解決高偏差 ( High bias ) :

* 嘗試較多的特徵量
* 嘗試多項式的特徵量

        function [X_poly] = polyFeatures(X, p)

        X_poly = zeros(numel(X), p);

        X_poly(:, 1) = X;

        for i = 2:p

          X_poly(:, i) = X .* X_poly(:, i - 1)

        endfor

        end

* 在 Octave 上算出單特徵量多次方的函式

* 嘗試減少 λ

* 解決高方差 ( High Variance ) :

* 取得更多訓練資料
* 嘗試較少的特徵量
* 嘗試增加 λ

* 診斷神經網路

* 較少參數的神經網路

* 容易產生擬合不足 ( underfitting )
* 計算成本較低

* 較多參數的神經網路

* 容易產生過度擬合 ( overfitting )
* 計算成本較高
* 可以使用正規化來解決過度擬合

* 如何選擇 Hidden layer 數量

* 使用多種 Hidden layer 數量不同的模型
* 再用交叉驗證集選出效果較佳的

* 模型複雜度

* 模型複雜度低

* 高偏差、低方差
* 對於訓練數據和測試數據都有較大的誤差

* 模型複雜度高

* 低偏差、高方差
* 非常擬合訓練數據，但對測試數據有較大的誤差

###### tags: `筆記` `機器學習` `改善模型`