---
# System prepended metadata

title: iPAS中級機器學習技術與應用
tags: [ML, AI]

---

## 監督式學習模型（Supervised Learning Models）

監督式學習的目的是在給定「輸入資料」與「對應標籤」的情況下，訓練模型使其學會從輸入中預測正確標籤。

---

###  k-Nearest Neighbors (KNN)
| 項目     | 說明                                                                 |
|--------|--------------------------------------------------------------------|
| 類型     | 基於距離的分類演算法                                                    |
| 原理     | 根據輸入樣本在特徵空間中與訓練樣本的距離，選出最近的 K 個鄰居，多數決決定類別            |
| 優點     | 實作簡單、無需訓練                                                      |
| 缺點     | 計算成本高、對高維資料不利（維度災難）                                       |
| 適用情境   | 資料量小、結構清楚；如手寫辨識、推薦系統（簡易版）                                |

---

###  Perceptron（感知機）
| 項目     | 說明                         |
|--------|----------------------------|
| 類型     | 單層神經網路                     |
| 原理     | 線性分類器，使用加權和加閾值進行預測        |
| 優點     | 理論基礎簡單                     |
| 缺點     | 僅能處理線性可分問題                  |
| 適用情境   | 理解神經網路原理、教學用途               |

---

###  Decision Tree（決策樹）
| 項目     | 說明                                           |
|--------|----------------------------------------------|
| 類型     | 規則式模型                                       |
| 原理     | 根據特徵分割資料，構造樹狀結構進行預測                       |
| 優點     | ==解釋性佳==、可處理類別與數值資料                             |
| 缺點     | 易過擬合，樹深影響穩定性                                 |
| 適用情境   | 權重不均分類任務、特徵數量不多時效果佳                       |

#### 如何選擇最佳分裂特徵？
| 指標                              | 適用任務 | 說明                         |
|---------------------------------|--------|----------------------------|
| Information Gain（資訊增益）      | 分類     | 使用熵（Entropy）衡量純度提升     |
| Gini Impurity（基尼不純度）       | 分類     | 評估隨機取一樣本被誤分類的機率     |
| Variance Reduction（變異數下降） | 迴歸     | 減少資料分裂後的變異數             |

---

###  Random Forest（隨機森林）【Bagging】
| 項目     | 說明                                            |
|--------|-----------------------------------------------|
| 類型     | ==集成學習（Bagging）==                                |
| 原理     | 建立多棵隨機決策樹後**投票或平均輸出**                         |
| 優點     | 穩定性佳、不易過擬合、可取得特徵重要性                       |
| 缺點     | 模型結構不易整體解釋                                  |
| 適用情境   | 分類／迴歸通用；容忍缺失值                          |

---
###  Isolation Forest（孤立森林）
| 項目   | 說明                                                       |
|------|----------------------------------------------------------|
| 類型   | 非監督式==異常偵測模型==                                           |
| 原理   | 隨機選特徵和切分點，異常值較易被「孤立」                                   |
| 特點   | 計算快速、適合高維、可視為樹模型變形                                     |
| 應用   | 資安偵測、交易詐欺分析、設備異常預測                                      |
| 補充   | 輕量但有效的 anomaly detection 方法                                    |

---

###  Gradient Boosting（GBDT / XGBoost / AdaBoost）
| 模型      | 說明                                               |
|---------|--------------------------------------------------|
| GBDT    | 漸進式訓練決策樹，每棵新樹**修正**前一棵的錯誤                   |
| XGBoost | GBDT 的高效實作，支援**正則化與剪枝**                          |
| AdaBoost| 對錯誤預測的樣本給予較高權重，聚焦難分類的樣本                 |

📌 **特性比較：**
| 模型    | 優點                     | 缺點               |
|-------|------------------------|------------------|
| GBDT  | 效能強、泛化力好               | 訓練較慢            |
| XGBoost | 快速、高效、參數豐富             | 結構較複雜           |
| AdaBoost| 容易增強簡單模型               | 對雜訊較敏感          |

---
### Bagging VS. Boosting
| 特性     | Bagging            | Boosting                 |
| ------ | ------------------ | ------------------------ |
| 主要目標   | **降低方差**（Variance） | **降低偏差**（Bias），同時也可能降低方差 |
| 抗過擬合能力 | 強（因為平均多個高方差模型）     | 較弱（可能過度關注難分類樣本而過擬合）      |
| 適用情況   | 高方差低偏差模型（例如深樹）     | 高偏差低方差模型（例如淺樹）           |

---

###  Support Vector Machine（SVM）
| 項目     | 說明                                                 |
|--------|----------------------------------------------------|
| 類型     | 最大邊界分類器                                            |
| 原理     | 尋找使不同類別間距最大的**超平面**                                  |
| 優點     | 適合中小型資料，能處理非線性（使用 kernel）                         |
| 缺點     | 計算成本高，需要調整核函數與參數                                 |
| 適用情境   | **高維**、清晰可分之分類任務（如文字分類）                            |

#### 核函數的兩大功能
| 功能       | 說明                                                                         |
|----------|----------------------------------------------------------------------------|
| 映射到高維   | 不需顯式計算高維向量，透過 Kernel Trick 計算兩點的內積即可                            |
| 保持計算效率  | 即使映射到無限維空間，也能維持原本的計算複雜度                                     |

---

###  Linear Regression（線性回歸）

| 項目       | 說明                                                               |
|------------|------------------------------------------------------------------|
| 類型       | 迴歸模型（Regression）                                               |
| 原理       | 建立輸入特徵 X 與連續變數 y 之間的線性關係，目標是最小化平方誤差                   |
| 損失函數   | 均方誤差（MSE）：$\text{MSE} = \frac{1}{n} \sum (y - \hat{y})^2$ |
| 優點       | 簡單直觀、可解釋性強、計算快速                                          |
| 缺點       | 無法處理非線性問題、對異常值敏感、特徵共線性可能導致不穩定結果                   |
| 適用情境   | 房價預測、銷售預測、工業參數建模等連續型輸出場景                                 |

---

###  Logistic Regression（邏輯回歸）

| 項目       | 說明                                                             |
|------------|----------------------------------------------------------------|
| 類型       | 分類模型（Classification）                                       |
| 原理       | 將線性回歸輸出通過 Sigmoid 函數壓縮到 [0, 1] 區間，預測為某類的機率        |
| 損失函數   | 交叉熵（Cross Entropy）：適用於二元分類任務   |
| 優點       | 可解釋性強、適合小型資料集、訓練快速穩定                                    |
| 缺點       | 無法擬合非線性邊界、處理多分類時需延伸為 OvR 或 Softmax                     |
| 適用情境   | 信用預測、疾病風險預測、點擊率預測等二元決策任務                              |

📌 注意：雖名為「回歸」，Logistic Regression **本質是分類器**。



### 🔍 比較簡表：線性 vs 邏輯回歸

| 模型名稱             | 適合任務     | 輸出類型         | 損失函數          |
|----------------------|--------------|------------------|-------------------|
| Linear Regression     | 迴歸         | 連續實數         | MSE（均方誤差）   |
| Logistic Regression   | 分類（二元） | 機率值（0~1）     | Cross Entropy（交叉熵） |

---

###  Naive Bayes（朴素貝氏分類器）
| 項目     | 說明                                                      |
|--------|---------------------------------------------------------|
| 類型     | 機率式分類模型                                             |
| 原理     | 根據條件機率與貝氏定理進行預測，**假設特徵彼此獨立**                           |
| 優點     | 訓練快速、穩定，適合**文字分類**                                       |
| 缺點     | 特徵獨立假設在實務中常不成立                                    |
| 適用情境   | 文字分類（垃圾郵件偵測）、醫療診斷                                   |


## 非監督式學習模型（Unsupervised Learning Models）

非監督式學習的目的是在沒有標籤（label）的情況下，找出資料中的結構、分群或降維。


###  k-Means Clustering（K 均值分群）
| 項目   | 說明                                                       |
|------|----------------------------------------------------------|
| 類型   | 分群演算法                                                   |
| 原理   | 將資料分成 K 個群，每筆資料指派到距離最近的群中心                          |
| 優點   | 計算簡單、效率高                                              |
| 缺點   | 需預先指定 K 值；不適用非球形分佈；對初始值敏感                          |
| 適用情境 | 客戶分群、圖像壓縮、行為模式辨識                                         |

> 📌 補充：可用 Elbow method 幫助決定最佳 K 值。


---

###  Principal Component Analysis（主成分分析，PCA）
| 項目   | 說明                                                                |
|------|-------------------------------------------------------------------|
| 類型   | 線性降維技術                                                            |
| 原理   | 找出資料最大變異方向的主成分向量，保留主要結構                                       |
| 優點   | 加速模型訓練、去除冗餘資訊；可視化高維資料                                         |
| 缺點   | 僅限線性關係；結果不易解釋                                                 |
| 適用情境 | 圖像壓縮、特徵選擇、可視化前處理                                             |

> 📌 補充：保留前幾個主成分即可涵蓋大部分資訊（常用累積變異量 ≥ 95% 作為標準）。


---
###  Independent Component Analysis（ICA，獨立成分分析）

| 項目     | 說明                                                            |
|--------|-----------------------------------------------------------------|
| 類型     | 非監督式降維技術（與 PCA 類似，但目標不同）                               |
| 原理     | 將多維資料分解為統計上彼此**獨立**的成分（最大化非高斯性）                      |
| 差異     | 與 PCA 不同：PCA 找的是最大方差方向，ICA 找的是統計獨立成分                   |
| 優點     | 適用於「訊號分離」任務，如聲音混合源分離（盲訊號分離）、腦波分析（EEG）               |
| 缺點     | 結果對輸入尺度與順序敏感、數學推導較複雜                                    |
| 適用情境   | 多通道訊號處理、影像特徵抽取、異常結構辨識                                   |

📌 範例應用：混合兩段語音訊號 → 用 ICA 分離出各自原始來源（Blind Source Separation）

---

###  Linear Discriminant Analysis（線性判別分析，LDA）
| 項目   | 說明                                                               |
|------|------------------------------------------------------------------|
| 類型   | 有==標籤==的降維方法（但常用於特徵提取）                                         |
| 原理   | 找出類別間差異最大的投影方向                                              |
| 優點   | 可提升分類表現；與 PCA 相比更注重類別資訊                                    |
| 缺點   | 假設資料為常態分佈且共變異矩陣相等                                           |
| 適用情境 | 特徵降維 + 分類任務前處理（如臉部辨識）                                       |

> 📌 註：雖有監督資訊，但常與非監督方法搭配視為降維技術使用。

---

###  LSA（Latent Semantic Analysis，潛在語意分析）

| 項目     | 說明                                                                   |
|----------|------------------------------------------------------------------------|
| 類型     | 語意降維方法（屬於詞彙表示學習技術）                                         |
| 原理     | 將詞-文件矩陣透過==SVD分解==，找出**潛在語意結構**與主成分空間                     |
| 輸入資料 | 詞頻矩陣、TF-IDF 向量                                                  |
| 輸出形式 | 將每個詞與文件投影到較低維度的「語意空間」                                       |
| 優點     | 去除同義詞冗餘、降低噪音、找出潛藏語意；可用於**搜尋相似文件、語意分類、主題分析**               |
| 缺點     | 無法處理詞序與多義詞；SVD 計算複雜度高，不易動態擴充                              |

📌 常用於：搜尋引擎、主題聚類、資訊檢索中的「語意相似性比對」

---

###  MDS（Multidimensional Scaling，多維尺度分析）

| 項目     | 說明                                                                   |
|----------|------------------------------------------------------------------------|
| 類型     | 可視化導向的非監督式降維技術                                                |
| 原理     | 根據任意「距離矩陣」，在低維空間中找出點與點之間距離最接近的投影位置                      |
| 輸入資料 | 預先計算好的樣本間距離矩陣（如歐氏距離、餘弦距離、編碼距離）                                  |
| 輸出形式 | 2D / 3D 空間中樣本點的位置，用於視覺化展示樣本分布結構                                      |
| 優點     | 不依賴資料型態，支援非線性關係，可處理自定義距離；適合**詞向量、樣本聚類後之視覺解釋**             |
| 缺點     | 資料量大時計算距離矩陣成本高，擴展性較差                                       |

📌 常見用途：降維可視化（與 t-SNE、PCA 並列），理解樣本聚類效果或距離結構

---

###  Autoencoder（自編碼器）

| 項目     | 說明                                                           |
|--------|----------------------------------------------------------------|
| 類型     | 非監督式神經網路（屬於特徵學習與==降維==工具）                              |
| 結構     | Encoder（壓縮） + Decoder（還原），學習將輸入映射為低維潛在空間                |
| 原理     | 最小化重建誤差                         |
| 優點     | 可學習非線性特徵，擴展性高，可與 CNN / LSTM 結合                            |
| 缺點     | 訓練需較多資料，調參繁瑣，無法直接解釋潛在空間意義                             |
| 適用情境   | 資料降維、影像重建、異常檢測、生成模型（延伸為 VAE, GAN 等）                  |

📌 擴展版本：
- **VAE（變分自編碼器）**：加入概率建模，可生成類似原資料的新樣本  
- **Denoising Autoencoder**：可用於去噪，提升特徵穩定性  
- **Sparse Autoencoder**：提升稀疏性與特徵選擇能力

---

###  Gaussian Mixture Model（高斯混合模型，GMM）
| 項目   | 說明                                                                     |
|------|------------------------------------------------------------------------|
| 類型   | 機率式==分群==模型                                                                 |
| 原理   | 假設資料由多個高斯分佈混合而成，使用期望最大化（EM）估計參數                              |
| 優點   | 能處理不同形狀、大小的群體；分群結果**具機率解釋力**                                           |
| 缺點   | 對初始值與樣本比例敏感；計算較慢                                                   |
| 適用情境 | 客戶分群、異常偵測、語音識別（常用於 HMM 的 emission model）                          |

---

###  t-SNE（t-分佈隨機鄰域嵌入）
| 項目   | 說明                                                                   |
|------|----------------------------------------------------------------------|
| 類型   | 非線性**降維**與視覺化方法                                                        |
| 原理   | 維持高維空間中資料點的相對距離，在 2D/3D 空間展現局部結構                          |
| 優點   | 非常適合資料可視化（找出分群或離群樣本）                                           |
| 缺點   | 不適合做模型輸入；計算成本高；無法泛化到新資料                                    |
| 適用情境 | 表徵可視化（如圖像分類特徵）、樣本群聚檢視                                        |

> 📌 常與 PCA 搭配（PCA → t-SNE）進行加速與穩定性提升。

---

###  Hidden Markov Model（隱馬可夫模型，HMM）🔥
| 項目   | 說明                                                                 |
|------|--------------------------------------------------------------------|
| 類型   | 機率式序列模型                                                           |
| 原理   | 隱藏狀態組成馬可夫鏈 + 可觀察輸出，透過轉移機率與發射機率建模序列行為               |
| 優點   | 能建模==時間序列==；適用於語音、金融、自然語言                                       |
| 缺點   | 假設條件強、狀態難以解釋；參數估計依賴 EM                                       |
| 適用情境 | POS tagging、語音辨識、行為預測、基因序列建模                                  |

---

### 🔹 SVD（Singular Value Decomposition，奇異值分解）

| 項目   | 說明                                                                 |
|--------|----------------------------------------------------------------------|
| 類型   | 非監督式學習 / 線性代數==降維==技術                                             |
| 原理   | 將資料矩陣分解為三個矩陣：$A = U \Sigma V^T$，保留主成分壓縮資料                |
| 應用   | - LSA（潛在語意分析）<br>- 圖像壓縮 / 特徵提取 / 推薦系統矩陣補全（如 Netflix） |
| 優點   | 數學理論穩固，可提取潛在結構，降低維度、去除冗餘                                        |
| 缺點   | 無法建模非線性資料、計算成本高於 PCA、無法動態擴充                                      |

📌 常與 LSA、PCA 並列為常見降維方式。無需標籤，屬非監督學習技術。

---

### 🔹 LOF（Local Outlier Factor，局域離群因子）

| 項目   | 說明                                                                 |
|--------|----------------------------------------------------------------------|
| 類型   | 非監督式==異常偵測模型==                                       |
| 原理   | 根據每筆資料與鄰近樣本的密度比較，判定其是否落在「密度稀疏區域」→ 若密度顯著低則視為離群              |
| 運作步驟 | 1. 對每筆樣本計算 k 個鄰近點<br>2. 比較局部密度<br>3. 產生離群分數（LOF score）                 |
| 應用   | - 資安異常偵測（入侵、詐欺）<br>- 感測器故障 / 工控系統監控<br>- 不平衡資料下的潛在異常檢出        |
| 優點   | 無需標籤、能發現局部離群點、適用於高維資料                                           |
| 缺點   | 對距離敏感、k 值設定會影響結果、計算成本高於 Isolation Forest 等方法                     |

📌 適合應用在資料標籤不足或難以明確定義異常的場景中。

---

## 強化學習（Reinforcement Learning）

強化學習是一種讓智能體（Agent）在環境中透過試誤與回饋獎勵來學習最佳策略（Policy）的方式。  


###  Q-Learning / Bellman Equation
| 項目             | 說明                                                                 |
|----------------|--------------------------------------------------------------------|
| Q-Learning     | 基於動態規劃的值函數學習方法，用 Q-Table 記錄每個狀態-動作對應的期望回報          |
| Bellman Equation | 定義 Q 值的遞迴關係，為 Q-Learning 的核心理論基礎                                |

> 📌 適用於：小型離散空間控制問題（如迷宮、網格導航）

---

###  Model-Free vs. Model-Based
| 類型         | 說明                                                   | 優點                                | 缺點                                |
|------------|------------------------------------------------------|-----------------------------------|-----------------------------------|
| Model-Free | 不建立環境模型，只透過試誤學習策略或值函數                           | 簡單直接                            | 效率低                              |
| Model-Based| 建立環境轉移模型，透過模擬來預測與規劃行動                       | 資料效率高、可規劃                      | 模型錯誤會影響決策                      |

> 📌 補充：  
> - DQN、Policy Gradient 屬常見 Model-Free 方法  
> - AlphaGo 中的 MCTS 結合 Model-Based 與深度學習

---

###  Epsilon-Greedy（ε-貪婪策略）
| 項目   | 說明                                                                 |
|------|--------------------------------------------------------------------|
| 原理   | 在學習初期以**機率 ε** 隨機探索（exploration），其餘時間選擇已知最好的動作（exploitation） |
| 意義   | 平衡探索與利用，避免陷入局部最優解                                           |
| 實作   | ε 通常會逐步遞減（例如從 1 → 0.1）                                     |

---

###  Policy Gradient（策略梯度）
| 項目   | 說明                                         |
|------|--------------------------------------------|
| 類型   | 直接學習最佳策略函數               |
| 特性   | 適合連續動作空間；可學習隨機策略                     |

> 📌 代表方法：REINFORCE、Actor-Critic、PPO（Proximal Policy Optimization）

---

###  DQN（Deep Q-Network） + Experience Replay
| 項目               | 說明                                                                 |
|------------------|--------------------------------------------------------------------|
| 原理               | 將 Q-Learning 結合深度神經網路，用 NN 預測 Q 值                            |
| Experience Replay | 將歷史經驗 (state, action, reward, next_state) 儲存進記憶池，隨機抽取批次訓練 → 打破樣本相關性，提高穩定性 |
| 特點               | 支援高維輸入（如圖片）、泛化力強                                        |

> 📌 DQN 論文補充技巧：  
> - Target Network：使用延遲更新的目標網路來穩定學習  
> - ε-Greedy 策略與 Replay Buffer 是訓練穩定性關鍵

---

###  其他強化學習概念
- **RLHF（Reinforcement Learning with ==Human== Feedback）**  
  結合人類回饋訓練 AI，使其生成結果更貼近人類偏好（如 ChatGPT 微調階段）。
- **理性行為 AI（Rational Agent）**  
  以==最大化報酬==為目標的 Agent 設計，核心即強化學習的策略學習。
- **有限記憶 AI（Finite Memory Agent）**  
  利用過往歷史（如過去幾步）資訊進行決策，常見於時間序列預測、自動駕駛等具時序依賴場景。



## 時間序列模型（Time Series Models）

時間序列模型的目標是根據時間順序排列的歷史資料，預測未來趨勢、值或事件。



###  ARIMA（AutoRegressive Integrated Moving Average）
| 項目     | 說明                                                                 |
|----------|--------------------------------------------------------------------|
| 類型     | 傳統統計模型                                                          |
| 組成     | 結合三部分：AR（自迴歸）、I（差分去趨勢）、MA（移動平均）                   |
| 訓練需求 | 資料需為穩態（stationary）時間序列                                    |
| 優點     | 理論成熟、可解釋性高                                                   |
| 缺點     | 無法處理非線性、需手動設參數（p, d, q）                                |
| 適用場景 | 財經股價預測、氣象趨勢、需求預估（短期）                               |

> 📌 常用變體：SARIMA（加上季節性 S）

---

###  Prophet（臉書開源時間序列預測模型）
| 項目     | 說明                                                    |
|----------|---------------------------------------------------------|
| 類型     | 加法模型（trend + seasonality + holiday）               |
| 設計者   | Facebook 開源                                          |
| 優點     | 使用簡單、自動建模、處理缺失值與異常值能力強               |
| 缺點     | 適用於中長期預測，對極度非線性資料效果有限               |
| 適用場景 | 市場活動預測、人流量、業績季節波動預估                   |

---

###  Temporal Convolutional Network（TCN，時間卷積網路）
| 項目     | 說明                                                        |
|----------|------------------------------------------------------------|
| 類型     | 深度學習模型                                                 |
| 結構特點 | 1D 卷積 + 擴張卷積（dilated conv） + 因果性（causal）         |
| 優點     | 並行計算快於 RNN，捕捉長期依賴能力強，不會因序列長度過長而遺忘  |
| 缺點     | 訓練資料需求高，需要較多資源與調參                         |
| 適用場景 | 高頻金融預測、IoT 感測數據、語音辨識、序列分類               |

> 📌 補充：
> - 因果性保證模型不會「偷看未來」
> - 擴張卷積能擴大感受野（receptive field）→ 模擬長期記憶



##  Neural Networks（神經網路）
涵蓋傳統與深度學習架構：

| 模型            | 類型       | 說明                                      |
|---------------|----------|-----------------------------------------|
| Elman RNN     | 時序模型    | 處理序列資料，隱藏層具有回饋結構                        |
| LSTM          | 時序模型    | 長期記憶能力佳，解決 RNN 長期依賴問題                  |
| R-CNN         | 影像偵測    | 基於 CNN 的區域提案＋分類物件偵測                          |
| Inception     | 深度 CNN   | 使用多尺度濾波器並行（GoogleNet）                       |
| ResNet        | 深度 CNN   | 使用==殘差連接==，解決梯度消失問題                           |
| VGG19         | 深度 CNN   | 結構規律、較深層（19 層卷積）                            |
| GAN / Diffusion | 生成模型   | 生成器＋判別器對抗訓練 / 擾動反向擴散                        |



## 評估方式與統計檢定

###  分類任務常用指標（基於混淆矩陣）

混淆矩陣（Confusion Matrix）用來呈現分類模型的預測結果與實際標籤的對照：

|                 | 預測 Positive | 預測 Negative |
|-----------------|----------------|----------------|
| **實際 Positive** | TP（真正例）       | FN（假負例）       |
| **實際 Negative** | FP（假正例）       | TN（真負例）       |



| 指標名稱       | 計算方式                             | 解釋                                                         |
|----------------|------------------------------------|--------------------------------------------------------------|
| **Accuracy**   | (TP + TN) / 全部樣本                     | 整體**預測正確**比例，適合類別平衡任務                                      |
| **Precision**  | TP / (TP + FP)                         | 預測為正例中，有多少是真的 → 假陽性越少越好                               |
| **Recall**     | TP / (TP + FN)                         | 真正例中，有多少被抓到 → 假陰性越少越好                               |
| **F1-Score**   | 2 × (Precision × Recall) / (P + R)     | Precision 與 Recall 的調和平均，適合類別==不平衡==任務                           |
| **Specificity**| TN / (TN + FP)                         | 真負率，在醫療與風險控制任務中很重要                                   |

📌 注意：在類別不平衡任務（如詐欺偵測、疾病預測）中，**F1-score 與 Recall 通常比 Accuracy 更重要。**

---

### ROC-AUC（Receiver Operating Characteristic – Area Under Curve）
ROC 曲線是根據不同閾值下的 TPR（真正率）與 FPR（假正率）繪製而成，AUC 是 ROC 曲線下的面積。  
- **AUC = 1** 表示完美分類；**AUC = 0.5** 表示隨機猜測  
- 適用於二元分類模型，能評估整體模型能力而非單一閾值下表現  
- 常搭配==不平衡==資料集使用（對類別不平衡不敏感）  

---
### MAE / MSE / RMSE / MAPE / R²（==迴歸==評估指標）🔥
| 指標  | 全名                          | 說明                                 | 特點                                     |
|-----|-----------------------------|------------------------------------|----------------------------------------|
| MAE | Mean Absolute Error         | 預測值與實際值之間絕對誤差的平均              | 容易解釋、不對極端值特別敏感                     |
| MSE | Mean Squared Error          | 將誤差平方後平均                       | 強調大誤差、放大==異常值影響==                     |
| RMSE| Root Mean Squared Error     | 對 MSE 開根號，使單位與原始數據一致         | 解釋性佳、但仍受異常值影響                     |
| MAPE| Mean Absolute Percentage Error | 平均絕對百分比誤差                     | 適合需求百分比解釋，但實際值為 0 時不穩定             |
| R²  | 決定係數 (Coefficient of Determination) | 解釋變異比例：1 為完美預測，0 為無解釋力 | 可為負值，表示模型表現比隨機猜測還差                 |

---

### t-Test / F-Test / Chi-Square Test（統計檢定）
| 名稱            | 說明                           | 適用情境                             |
|---------------|------------------------------|----------------------------------|
| t-Test        | 檢定**兩組平均數**是否有顯著差異              | A/B 測試、模型前後效能比較                  |
| F-Test        | 檢定**多組資料變異數**是否有顯著差異            | 判斷是否適合進行 ANOVA（變異數分析）        |
| Chi-Square Test (卡方檢定) | 檢定兩個==分類==變數間是否獨立             | 類別型資料分析（如性別 vs 購買行為）         |

---

###  Pearson Correlation（皮爾森相關係數）

| 項目     | 說明                                                                    |
|--------|-------------------------------------------------------------------------|
| 類型     | 相關性分析方法（非檢定）                                                      |
| 原理     | 衡量兩個==連續變數==之間的線性關係強度與方向（值介於 -1 到 1）                         |
| 計算公式 | $\rho_{X,Y} = \frac{cov(X, Y)}{\sigma_X \sigma_Y}$                    |
| 解讀     | 趨近 1 → 正相關；趨近 -1 → 負相關；接近 0 → 幾乎無線性相關                          |
| 應用     | 分析特徵與目標變數關聯性、特徵選擇前篩選、金融變數關聯性判斷等                              |

📌 注意：
- 適用於連續變數，資料應具常態分佈特性  
---

### Cross-Validation（交叉驗證）
交叉驗證將資料切成多組訓練／驗證集反覆評估，提升模型**泛化能力**的估計準確度。  
| 類型               | 說明                                    |
|------------------|---------------------------------------|
| K-Fold           | 將資料分成 K 等分，每次用其中一份做驗證，其餘做訓練 |
| Leave-One-Out (LOO) | 每次**僅保留一筆**資料做驗證，其餘做訓練，計算成本高        |
| Hold-out         | 固定比例切分成 train/test（如 80/20）        |

> **補充：** K-Fold 最常用（K=5 或 10），常與 Grid Search 一起做參數調優。

---

### Bias & Variance（偏差與變異）🔥
評估模型學習能力的重要概念：  
| 概念             | 說明                             | 表現特性                             |
|----------------|--------------------------------|----------------------------------|
| **Bias（偏差）**    | 模型**預測值與真實值間**的系統性誤差           | 高偏差 → 欠擬合（Underfitting）：模型太簡單，無法學習資料模式 |
| **Variance（變異）** | 同一模型在**不同訓練資料**上的結果差異         | 高變異 → 過擬合（Overfitting）：模型過度學習訓練雜訊             |

**調整策略：**
- 欠擬合 → 增加模型複雜度、加入更多特徵  
- 過擬合 → 加入正則化、Dropout、Early Stopping 等技巧  



#### 過擬合（Overfitting）與正則化
- **過擬合**：模型在訓練集表現極佳，但在測試集表現不佳，原因是模型過度擬合訓練資料的雜訊。  
- **正則化（Regularization）**：在損失函數中加入**懲罰項**（L1 / L2），抑制權重過大，使模型更簡潔，減少過擬合風險。  

---
### 激活函數（Activation Functions）

激活函數的目的在於引入==非線性==能力，讓神經網路能學習複雜的模式與邏輯。決定神經元是否「啟用」，激活函數控制每個神經元輸出：  
- 若輸出接近 0，表示神經元「不啟用」  
- 若輸出大，表示神經元對當前輸入「有反應」  

這種機制類似於「資訊過濾器」或「觸發器」，幫助網路專注在重要特徵。

| 函數    | 輸出範圍  | 中心對稱 | 梯度消失問題   | 是否易計算 | 適用場景             |
|-------|----------|--------|--------------|-----------|--------------------|
| Sigmoid | (0, 1)   | 否     | 是           | 中等        | 二分類輸出層          |
| tanh   | (-1, 1)  | 是     | 是           | 中等        | RNN 隱藏層          |
| ReLU   | [0, ∞)   | 否     | 否（x > 0）  | 高效        | CNN、DNN 隱藏層      |

## 模型優化與訓練技巧

###  Gradient Descent / SGD（梯度下降與隨機梯度下降）
| 方法                   | 說明                                                                 |
|----------------------|----------------------------------------------------------------------|
| Gradient Descent     | 基於整個訓練資料計算損失函數的梯度，用來更新參數。收斂穩定但計算量大。  |
| SGD（Stochastic Gradient Descent） | 每次**只使用一筆**（或小批次）資料計算梯度，速度快但波動較大。常用於深度學習訓練。 |

> 📌 補充：SGD 通常搭配 Momentum 或 Batch Normalization 使用。
---
###  Momentum / Nesterov（動量與奈斯特洛夫動量）
| 方法     | 原理與特性                                                                 |
|----------|----------------------------------------------------------------------------|
| Momentum | 引入過去梯度的累積方向，模擬物理中的**動量**，加快收斂並避免震盪。                         |
| Nesterov | 先預測下一步位置再計算梯度，更準確地調整方向。                                       |
---

###  Batch Normalization（批次正規化）

Batch Normalization（簡稱 BN）是一種在神經網路訓練中常用的**正規化技術**，可加速收斂、穩定訓練，並降低對初始化參數與學習率的敏感度。

#### 📌 作用與目的

- 將每一層的輸出（activation）在 mini-batch 上正規化為**均值為 0、標準差為 1**
- 緩解 **Internal Covariate Shift（內部協變偏移）**
- 加速模型訓練、提高穩定性
- 可視為一種正則化方式，具有輕微防止過擬合的效果
---
###  Learning Rate Decay（學習率衰減）
- **說明**：動態降低學習率，有助於模型在訓練後期穩定收斂，避免 overshoot。  
- **常見策略**：  
  - Step Decay（每隔固定 epoch 降低）  
  - Exponential Decay（指數遞減）  
  - Cosine Annealing（餘弦函數遞減）  
---
###  Gradient Clipping（梯度截斷）
- **說明**：當梯度過大（爆炸）時將其限制在指定範圍，防止訓練不穩定。  
- **常用於**：RNN、LSTM 等序列模型。  
---
###  Regularization (L1, L2)（正則化）
功能：在損失函數中加入==懲罰項==，限制模型複雜度，減少過擬合。

| 比較項目 | L1 正則化（Lasso）                   | L2 正則化（Ridge）                 |
|----------|-----------------------------------|-----------------------------------|
| 懲罰方式  | 懲罰權重絕對值                       | 懲罰權重平方值                       |
| 結果傾向  | 使部分權重變為 0（稀疏模型）           | 權重趨近 0 但不會變成 0               |
| 特徵選擇  | ✅ 自動特徵選擇                     | ❌ 無法自動捨棄特徵                   |
| 模型可解釋性 | 較高（少數非零特徵）                 | 較低（所有特徵皆有權重）             |
| 計算穩定性 | 對資料變化較敏感                   | 較穩定，適合多重共線性資料             |
| 適用情境  | 特徵多但部分重要（如文本）            | 所有特徵可能都重要，需平滑處理         |

- 用 L1（Lasso）讓「不重要的特徵消失」  
- 用 L2（Ridge）讓「所有特徵都有參與，但不太極端」  
- 如不確定可用 Elastic Net（結合 L1 + L2）  
---
###  Early Stopping（提前停止）
- **說明**：當驗證集表現長期未改善時提前終止訓練，避免過擬合。  
- **常用參數**：  
  - `patience`：連續幾個 epoch 未改善才停止  
  - `restore_best_weights`：恢復最佳權重  
---
###  Hyperparameter Search（超參數搜尋）
| 方法         | 特性                                          |
|------------|---------------------------------------------|
| Grid Search  | 列出**所有可能**組合進行窮舉搜尋，適用小參數空間。       |
| Random Search| 隨機抽樣參數空間，效率高於 Grid Search，適用大範圍搜尋。 |

> 📌 可搭配交叉驗證（Cross-Validation）使用。
---
###  Cosine Annealing（餘弦退火學習率）
- **說明**：學習率依餘弦函數週期性下降，有助於後期精細學習。  
- **應用**：常見於 ResNet、SGDR（帶重啟的 SGD）  
---
###  Cross Entropy Loss（交叉熵損失 / Log Loss）
- **用途**：==分類==問題，衡量預測機率分布與實際標籤差異。  
- **特性**：數值越小預測越準確，常與 Softmax 搭配使用。  
---


## 其他
###  鏈式法則（Chain Rule in Backpropagation）
- **用途**：在反向傳播中逐層計算梯度，更新**權重**。  
---
###  Hessian（海森矩陣）
- **定義**：二階導數矩陣，描述函數彎曲程度。  
- **應用**：牛頓法等二階優化演算法。  
---
###  Jacobian（雅可比矩陣）
- **定義**：向量值函數一階偏導矩陣。  
- **用途**：自動微分與敏感度分析。  
---


###  SHAP（SHapley Additive exPlanations）
| 項目   | 說明                                                               |
|------|------------------------------------------------------------------|
| 類型   | 模型**解釋**方法                                                          |
| 原理   | 用遊戲理論 Shapley value 衡量每個特徵對單一預測的貢獻                          |
| 優點   | 解釋性強、可對每筆樣本進行分析、視覺化效果佳                                 |
| 應用   | 特徵重要性排序、醫療模型審查、金融風險解釋                                   |
| 補充   | 支援黑箱/白箱模型                                                    |


---

###  Bayesian Optimization + Acquisition Function
- **用途**：黑箱函數最佳化中的超參數調整與實驗設計  
- **原理**：利用 Acquisition Function（如 UCB、EI）評估當前參數空間中最佳下一步探索點  
