# 【生成式AI導論 2024】第8講：大型語言模型修練史 — 第三階段: 參與實戰，打磨技巧 (Reinforcement Learning from Human Feedback, RLHF)

## 三個訓練階段簡述
1. Pretrain（預訓練）
* 目標：學會做「文字接龍（text completion）」。
* 特性：Self-supervised learning（自督導式學習），大量資料來自網路，不需人類標註。
2. Instruction Fine-Tuning（指令微調）
* 目標：讓模型依照人類指令回答。
* 特性：Supervised learning（監督式學習），人類提供問題與正確答案。
3. RLHF（從人類回饋中增強學習）
* 目標：讓模型根據人類偏好調整行為。
* 特性：透過比較「哪個答案比較好」，而不是每步驟都直接指導。

## 什麼是 RLHF？
* RLHF：Reinforcement Learning from Human Feedback（從人類回饋中增強學習）。
* Human Feedback：例如在ChatGPT中重新生成回答，並比較新舊回答哪個較好，即提供回饋。
✅ 訓練的不是逐字生成正確，而是整體結果讓人更滿意。

## 資料型態的差異

| 階段 | 資料來源 | 形式 | 特點 |
|-------------------------|--------------|--------------|------------------------------------|
| Pretrain | 網路資料 | 完成接龍 | Self-supervised（自督導） |
| Instruction Fine-Tuning | 人類標註 | 問答對 | Supervised（監督式） |
| RLHF | 人類比較 | 哪個答案好 | Reinforcement Learning（增強式） |

## RLHF 的操作概念
* 人類不用再自己寫出正確答案，只要判斷兩個答案哪個較好。
* 減少人類負擔，提高回饋資料的收集速度。
✅ 讓模型學習「結果好就好」，不再只關心過程中的每一步是否完美。

## 模型學習觀念的轉變
* Instruction Fine-Tuning：只問每一步接得對不對（過程導向）。
* RLHF：只問最後整體結果好不好（結果導向）。
#### 比喻說明
* 如同《天龍八部》的珍瓏棋局，虛竹靠著「中間看似錯誤的一步」反而贏得整體勝利。

## 類比：語言模型與 AlphaGo
| 項目 | AlphaGo | 語言模型 |
|----------------|-----------------------------|----------------------------------|
| 任務 | 落子（下一步棋） | 接文字（下一個Token） |
| 學習方式 | 棋譜模仿 ➔ 自我對弈強化學習 | 網路接龍 ➔ 人類偏好強化學習 |
| 回饋取得方式 | 規則（輸贏明確） | 人類判斷（無絕對標準） |

## 引入 Reward Model（回饋模型）
* 為什麼需要 Reward Model？
* 人類時間有限，無法無限提供回饋。
* 訓練一個可以模擬人類喜好的模型。
* 如何訓練 Reward Model？
* 蒐集人類比較兩個答案哪個好的資料。
* 訓練模型能夠針對一個答案輸出一個「好壞分數」。
* Reward Model 使用方式
* 篩選最好的答案：產生多個回答，選最高分的。
* 指導語言模型微調：讓語言模型優先產生高分答案。

## 過度學習 Reward Model 的風險
* 過度學習 ➔ 出現奇怪現象，如
* 回答強迫加上"please"
* 無意義地插入"???"符號
* 真實人類的喜好與虛擬Reward Model的喜好逐漸背離。
* ❗ 適度依賴 Reward Model，避免過度擬態。

## 現代新興方法（避免過度依賴Reward Model）
* DPO（Direct Preference Optimization）
* KTO（Kullback–Leibler divergence-based methods）
* 正在開發中，目前效果與RLHF互有高低，尚待更多驗證。

## 下一步展望：RLAIF（Reinforcement Learning from AI Feedback）
* 讓 **強大的AI（如GPT-4）** 給模型回饋，而不是靠真人。
* 更進一步，**語言模型自我回饋（Self-Rewarding）** 也正在探索。

## 挑戰：好答案的標準模糊化
* 什麼叫好？（Helpfulness 有幫助 vs. Safety 安全）
* 同一回答，從不同面向評價會有不同結論。
* 多數大型語言模型（如LLaMA）同時訓練多個 Reward Model，根據情境調整重點。

## 未來挑戰：人類也無法正確判斷的問題
* 語言模型未來要面對的，將是「連人類也無法準確評斷好壞」的複雜問題。
* 回饋的正確性變得更難保證，模型自我演進將成為研究重點。