# 微調大語言模型的三種方法


## 🔍 圖示解讀
1. **Feature‑based**：Transformer 全部凍結，只利用 embedding 訓練 classifier。
2. **Fine‑tuning I**：Transformer 凍結，僅新增的 Fully Connected 層可更新。
3. **Fine‑tuning II**：整個模型包含所有 Transformer 層均可更新。

---

## 三種預訓練 Transformer 使用方式比較

### 1. Feature‑based approach（特徵提取方式）
- **流程**：
1. 使用預訓練好的 Transformer 處理已標註的訓練資料，取得 embedding（通常是某一層 hidden state）。
2. 凍結整個 Transformer 權重。
3. 僅訓練一個新的分類器層（classifier）。
- **優點**：
- 資源消耗低、訓練速度快。
- 適合資料量小、計算資源有限的場景。
- **缺點**：
- Transformer 模型無法根據下游任務調整，性能較受限。

---

### 2. Fine‑tuning I（微調 I）
- **流程**：
1. 使用預訓練 Transformer 處理資料。
2. 凍結 Transformer 權重。
3. 新增一層或多層 Fully Connected 層作為任務頭。
4. 僅更新新增的這些層。
- **優點**：
- 比 feature‑based 更能針對任務調整。
- 更新參數量少，資源消耗低到中等。
- **缺點**：
- 無法微調 Transformer 本體，受限於預訓練特徵。

---

### 3. Fine‑tuning II（完整微調）
- **流程**：
1. 載入預訓練 Transformer。
2. 解凍所有 Transformer 層＋新增的任務頭。
3. 同時更新全部參數。
- **優點**：
- 最大程度調整模型以符合下游任務。
- 通常能帶來最佳性能。
- **缺點**：
- 訓練成本高（記憶體與運算量大）。
- 若資料量不足，容易過擬合。

---

### 📊 綜合比較表

| 方法 | 可訓練的 Transformer 層 | 計算資源 | 表現潛力 | 適用情境 |
|-------------------|:----------------------:|:--------:|:--------:|:--------:|
| Feature‑based | 0（全部凍結） | 低 | 低 | 資料少、資源/預算有限、快速試驗 |
| Fine‑tuning I | 僅新增的任務頭層 | 低–中 | 中–高 | 保留預訓練知識 + 局部微調 |
| Fine‑tuning II | 全部層可更新 | 高 | 高 | 有足夠資料與資源，追求高性能 |

---

### ✅ 選擇建議
- **Feature‑based**：適合訓練資源／資料受限時使用，快速部署。
- **Fine‑tuning I**：想保留預訓練知識，同時做局部微調。
- **Fine‑tuning II**：有足夠資料與算力，可全面微調以追求最佳性能。