。

**Tülu 3：推動開源語言模型後訓練的進展**
https://arxiv.org/pdf/2411.15124
https://drive.google.com/file/d/1VqWTVM9cdGZts1LQjdbZPOPFIIXM6VRa/view?usp=drive_link

**Tülu 3 是一個由 Allen Institute for AI (AI2) 開發的開源語言模型專案**。這個專案的目標是**縮小開源模型與閉源模型之間在後訓練 (post-training) 方面的差距**。它基於 **Llama 3.1 基礎模型**建立了一系列最先進的後訓練模型。

Tülu 3 不僅僅釋出了模型本身，更重要的是，它提供了一套**全面的資源，包括所有相關的資料、訓練方法 (recipe)、程式碼、基礎設施和評估框架**。這使得開源社群能夠更容易地重現、學習並進一步開發高性能的語言模型。

Tülu 3 的成功歸功於三個核心要素：
1. **Tülu 3 Data：** 一套新的、採用寬鬆授權的訓練資料集，這些資料集特別針對核心技能進行了策劃。資料的策劃非常重要，包括從公共資料集提取和針對特定技能合成新的提示詞 (prompt)。專案也強調了對資料進行「去汙染」(decontamination) 的重要性，以確保評估的公平性。
2. **Tülu 3 Eval：** 一套用於評估的模型評估套件和工具。這套評估框架包含開發集和未見過的評估集，用於衡量模型在多種核心技能上的表現，例如知識、推理、數學、程式設計、指令遵循和安全性。專案也開源了其評估系統 OLMES (Open LanguageModel Evaluation System)。
3. **Tülu 3 Recipe：** 一個先進的多階段訓練流程。這個訓練流程包含了新的演算法進展，以及透過嚴謹的實驗來優化資料組合、方法和參數。主要的訓練階段包括：
* **監督式微調 (Supervised Finetuning, SFT)**。
* **直接偏好優化 (Direct Preference Optimization, DPO)**，專案中使用了長度正規化的 DPO (length-normalized DPO)，認為它相較於 PPO 更簡單快速。DPO 的訓練使用了經過改編的 UltraFeedback 管線，並從內部和外部模型產生了偏好資料。增加獨特的提示詞數量對於提升 DPO 的下游性能很重要。
* 一種新穎的方法，稱為**可驗證獎勵強化學習 (Reinforcement Learning with Verifiable Rewards, RLVR)**。這種方法利用可驗證的黃金標準最終答案或約束條件作為獎勵，而無需中間的思維鏈 (Chain-of-Thought)。專案使用 PPO (Proximal Policy Optimization) 來實現 RLVR。

透過這個多階段的訓練流程，Tülu 3 模型在多個基準測試上展現了卓越的性能。特別是，**Tülu 3 的模型超越了同等規模的其他開源模型**，例如 Llama 3.1 Instruct、Qwen 2.5 和 Mistral Instruct。在較大的 70B 尺寸上，**Tülu 3 甚至可以媲美或超越一些閉源模型，例如 GPT-4o-mini 和 Claude 3.5-Haiku**。對於 405B 的模型，其性能可與 DeepSeek v3 和 GPT-4o 競爭。

Tülu 3 的釋出不僅提供了高性能的模型，更透過透明地分享訓練方法、資料和工具，為開源社群提供了一個寶貴的參考和基礎，以進一步推進語言模型後訓練的研究和應用。它也分享了實驗中不成功的部分，為社群指明了可能的方向。

好的，這是一份根據您提供的來源內容整理成的教材格式回應，重點介紹了用於建構和改進大型語言模型 (LLMs)，特別是針對**推理能力**的訓練方法。

---

**人工智慧與大型語言模型訓練方法**

**章節 1：引言與動機**

* **人工智慧的進展與開放研究**
* 當今人工智慧的進步得益於**開放的科學研究與發展**以及**開放模型的獲取**。
* 然而，近年來許多研究和開發趨於**封閉**。
* **持續研究的必要性**
* 即使研究領域變得更加封閉，我們仍需進行大量研究以：
* **理解大型語言模型的科學**。
* **改進模型並建構下一代模型**。
* **推動語言模型超越語言本身**，應用於科學領域，如醫療健康；並超越文本形式。
* **緩解模型的偏差和風險**。
* **將模型應用於現實世界**。
* **開發 LLM 代理 (agents)**，改進其**規劃 (planning)**、**推理 (reasoning)**、測試階段擴展 (test time scaling)。
* **使模型適合部署並建構高效模型**。
* **建立開放生態系統的目標**
* 為促進創新和加速語言模型科學，我們需要模型是**完全開放的 (fully open)**。
* 開放模型的特點：**透明 (transparent)** (可獲取數據)、**可訪問 (accessible)**、**可重現 (reproducible)** (供研究人員和開發者使用)。
* Udab 和 AI2 致力於建構一個生態系統，可以在不同階段建構語言模型，包括預訓練、後訓練和中訓練 (mid-training)，以及建構代理。
* OLMo (Open Language Model) 和 Tulu 是其中兩個主要努力，Tulu 是**開放的後訓練方法 (open post-training recipes)**。
* 目標是開發、研究和改進語言模型，所有努力需**完全開放、有文檔、可重現**。
* 這有助於**賦予 AI 社群力量**，並向公眾**介紹 AI 的工作原理**。
* 然而，這個完全開放的生態系統只是當今 AI 領域整體圖景的一部分。

**章節 2：大型語言模型 (LLMs) 的訓練流程**

* **現代大型語言模型的建構階段**
* 建構現代 LLM 大致分為兩個階段：**預訓練 (Pre-training)** 和**後訓練 (Post-training)**。
* **預訓練階段**
* **目標：** 模型被訓練用於**預測下一個詞元 (predicting the next token)**。
* **數據：** 通常來自**大規模、大量的數據**，主要來源於**網路 (web)**。
* **局限性：** 從此階段產生的模型通常**尚未準備好用於許多應用**。
* 它**不安全 (not safe)**。
* 可能**無法遵循人類指令 (follow human instructions)**。
* 在**推理方面 (reasoning) 不夠出色**。
* **後訓練階段**
* 在後訓練階段，模型獲得了更多能力：
* 可以進行**聊天 (chat)**。
* 可以**遵循指令 (follows instructions)**。
* 可以整合**工具使用 (tool use)**。
* 能夠**推理 (reason)**。
* 能夠辨識何時回覆**有害 (harmful)** 或不遵循指令。
* 後訓練的主要目的：
* **與人類偏好對齊 (align with human preferences)** (例如，收集數據判斷哪種回覆更符合人類期望)。
* 具備**工具使用 (tool use)**、**搜索 (searching)**、**程式碼執行 (code execution)** 等能力。
* 讓模型能夠**推理 (reason)** (例如，學習解決算術文字問題)。
* **建構成功語言模型的關鍵組成部分**
* 成功的語言模型建構需要以下要素：
* **數據 (Data)**：用於訓練模型。
* **訓練架構 (Training architecture)** 和**神經網絡 (neural network)**：幾乎所有情況下都是基於 **Transformer 的架構 (Transformer based architecture)**。
* **徹底的評估循環 (thorough evaluation Loop)**：用於判斷模型的進步或退步。
* **數據**、**模型**和**算法**是建構現代成功語言模型的**三個核心部分 (three integral parts)**。

**章節 3：後訓練技術：Tulu 計畫**

* **Tulu 計畫概述**
* Tulu 計畫始於 2023 年。
* 目標是開發一個**開放 (open)**、**可重現 (reproducible)** 且**最先進的 (state-of-the-art)** 後訓練方法。
* 此方法可應用於許多不同的**開放權重模型 (open weight models)**，如 Llama、Qwen。
* Tulu 經歷了多個版本，逐步整合了不同的技術和數據。
* 最終目標是利用開源模型，達到甚至超越 GPT-4 等專有模型的性能。
* **Tulu 訓練步驟**
* Tulu 的後訓練方法從一個**基礎模型 (base model)** 開始。
* 接著遵循三個重要步驟：
1. **指令微調 (Instruction Tuning) / 監督式微調 (Supervised Fine-tuning - SFT)**。
2. **偏好微調 (Preference Tuning)**。
3. **可驗證獎勵強化學習 (Reinforcement Learning with Verifiable Rewards)** (一種新穎的方法)。
* 有時需要在這些階段之間進行**回溯和調整 (back and forth)**。
* **3.1 指令微調 (Instruction Tuning / Supervised Fine-tuning - SFT)**
* **目標：** 透過大量的提示 (prompts) 和完成 (completions)，**微調 (fine tune)** 預訓練語言模型，使其能夠**遵循這些指令 (follow these instructions)**。
* **數據策劃 (Data Curation)：** 如何獲取和組織數據。
* **人工註釋 (Human annotation)：**
* 優點：可以提供高品質的數據。
* 缺點：**成本高 (costly)**、**耗時 (time consuming)**、**變異性大 (high variance)**。對於推理等複雜任務，可能不適合一般註釋者，需要**專家註釋 (expert annotations)**，這難以擴展且**多樣性不足 (not diverse enough)**。
* **合成數據生成 (Synthetically generate data)：**
* 方法：使用**另一種語言模型**透過**自我循環 (self-loop) 或自我指令循環 (self-instruction loop)** 生成數據。
* 優點：**良好 (really good)**，特別在許多情況下。
* 缺點：可能**有雜訊 (noisy)**，且對用於生成數據的語言模型存在**偏差 (biased)**。
* **最佳方案：混合式數據收集 (hybrid collection)：** 結合人類註釋和合成生成數據。
* **數據集的發展：**
* 早期的工作集中於 NLP 任務（問答、摘要、翻譯），如 **Natural Instructions** 和 **Supernatural Instructions**。
* **Self-instruct 框架** 開啟了合成數據生成的研究，並被社群廣泛採用，產生了 **Alpaca**、**Vicuna** 等數據集。
* 還有針對短形式問答的數據集，如 **Flan V1**。
* Tulu 3 論文列出了許多公開可用的數據集，包括人工策劃、專家策劃和社群合成生成。
* **數據混合 (Data Mixing)：**
* 將不同來源和形式的數據（例如，針對不同能力設計的數據）組合起來。
* **挑戰：** **平衡不同能力的數據**，以確保模型在各方面都獲得高準確性 (例如，添加詩歌生成數據可能降低數學推理能力，反之亦然)。
* 方法：社群正在探索許多不同的數據混合方法，包括手動經驗分析、自動化混合等。
* Tulu 1 的方法：結合所有可用的公開數據集。
* 評估：在多個領域（聊天、知識、推理、程式碼、多語言、安全）進行評估，發現不同數據集在不同領域表現各異 (例如，ShareGPT 在聊天方面表現好，但在知識或推理方面較差)。
* Tulu 的混合策略：結合在特定領域表現出色的數據集，形成**人類 + 合成 (human + synthetic)** 的數據類型。曾考慮使用 ShareGPT 數據，但因許可問題後來棄用。
* **深入探討推理數據：思維鏈 (Chain of Thought - CoT)**
* **重要性：** 對於提高推理能力至關重要。
* **範例：** 解決數學文字問題。僅使用「輸入-輸出」(input-output) 設定進行微調效果可能有限。
* **CoT 的好處：**
* 幫助模型處理**複雜的多步驟問題 (complex multi-step problems)**。
* **揭示模型的推理過程 (revealing the model's reasoning process)**。
* 可能利用模型在預訓練中已看過的 CoT 數據，**提升該能力 (boost this capability up)**。
* **更容易發現邏輯錯誤 (easier to spot errors in the logic)**。
* **類似人類的解釋和思維過程**。
* **生成 CoT 數據的挑戰與方法：**
* **挑戰：** 手動獲取 CoT 註釋**困難 (challenging)**，**耗時且昂貴 (time consuming, expensive)**，通常需要**專家註釋**，**難以擴展 (difficult to scale)**，且**多樣性不足**。
* **Tulu 的方法：** 採用**混合式數據策劃 (hybrid data curation)**。
* **數據混合與選擇**。
* 使用**不同「角色扮演」(personas)** 生成**多樣化數據 (diverse data)**：
* 為特定技能 (數學、程式碼、精確指令遵循) 設計不同角色。
* 要求模型針對特定角色生成數據 (例如，為化學動力學研究員設計數學問題)。
* 嘗試了多種角色 (專家、兒童、電腦科學家、音樂家等)。
* 這確保了**高多樣性 (High diversity)** 並**易於擴展 (enables us to scale)**。
* 生成大量問題 (超過 150k 困難數學問題，50k 小學數學問題，35k Python 程式碼和精確指令遵循問題)。
* 使用強大模型 (GPT-4、Claude Sonnet) 生成逐步解決方案。
* **Persona-driven 數據的效果：**
* 將 Persona-driven 合成數學問題數據與通用公開數據結合。
* 增加 Persona-driven 數據量**持續提升**數學性能 (特別是困難的數學問題)。
* 對簡單問題集 (GSM8K) 提升較少，可能因為現有公開數據已足夠好。
* **數據過濾：使用自我一致性 (Self-consistency)**
* 對於合成生成的每個問題，要求 GPT-4 生成**多個推理路徑 (multiple reasoning paths)**。
* 應用**自我一致性**：找出多數投票 (majority vote) 的答案，並保留能得出該答案的推理路徑。
* 結果：過濾掉約 40% 的數據。
* 使用**僅 60% 的過濾後數據**，在數學任務上達到類似的性能，甚至在 GSM8K 上有更顯著的提升。這表明過濾數據的品質更高。
* **其他 CoT 生成方法：**
* **人工註釋：** 非常準確，但規模有限，難以增加推理風格多樣性。
* **轉換為程式碼：** 將數學問題轉為 Python 程式碼並執行生成解決方案。優點：**保證正確性 (guarantees correctness)**。缺點：**較不自然 (less natural)**，不像用自然語言解釋。
* **模型自我生成 CoT：** 可擴展，但品質高度依賴於基礎模型。
* Tulu 結合了這些方法。
* **最終 SFT 數據混合 (Tulu-SFT)**
* 結合了人工策劃和合成生成的 CoT 數據，形成了 Tulu 的最終 SFT 數據混合。
* 消融實驗 (ablations) 表明了不同數據組件的重要性 (例如，移除 WildChat 影響聊天，移除 Persona 數據影響數學，移除數學數據導致數學性能顯著下降)。
* 添加**安全數據 (safety data)** 未損害模型的通用能力。
* 與社群中其他流行的數據集 (如 Mammoth、RLHF) 相比，Tulu SFT 數據混合取得了**顯著提升**。
* 繼續改進數據混合非常重要。
* **3.2 偏好微調 (Preference Tuning)**
* 在 SFT 之後進行。
* **目標：** 透過使用**獎勵模型 (reward model)** 來**與人類偏好對齊**。
* **偏好數據 (Preference Data)：**
* 形式：包含一個提示和**兩個模型回應**，標註其中一個**優於 (better than)** 另一個。
* 來源：**人類註釋 (annotated by humans)** 或使用**另一種 AI 模型 (RLAIF - RL with AI Feedback)** 進行評估 (例如，使用 GPT-4 或 Claude Sonnet)。
* 優勢：與評估絕對分數相比，比較回覆**更容易 (much easier to deal with comparison)**。
* **算法：基於人類反饋的強化學習 (Reinforcement Learning with Human Feedback - RLHF)**
* 工作原理：使用強化學習。
* 基本概念：策略 (Policy) 生成下一個詞元，與環境 (Environment) 互動，從環境獲取獎勵 (Reward)，並更新世界狀態。
* 在 RLHF 中：狀態由輸入提示更新；動作是生成回覆；**環境是獎勵模型 (reward model)**，它是一個神經網絡，根據回覆判斷是否符合偏好。
* 優化：目標是**最大化獎勵 (maximize the reward)**，同時**約束模型盡可能接近基礎語言模型 (constrain the model to stay as close as possible to the base language model)**。這是在對齊偏好和維持原始模型能力之間的平衡。
* **RLHF 算法變體：**
* **PPO (Proximal Policy Optimization)**：原始公式。
* **DPO (Direct Preference Optimization)**：直接在偏好方程上使用梯度下降優化。可以看作是**排名目標 (ranking objective)**。
* 新的變體：SimPO (不使用參考模型)、Length Normalized DPO。
* **DPO 與 PPO 比較：**
* 實現複雜性、記憶體使用、吞吐量等方面不同。
* 通常 **PPO 的性能優於 DPO**。
* 但 PPO **更複雜**，特別是對於較大模型，需要運行兩個模型 (獎勵模型和策略模型)。
* **DPO 實驗成本更低**，更適合開發階段進行消融實驗。
* **偏好微調的成果與洞察：**
* 在 SFT 基礎上進行 DPO 微調可帶來提升 (例如，約 2% 的提升)。
* **高品質數據**對於構建優秀的偏好微調算法**最重要**。精心策劃的數據帶來顯著提升 (從 56% 提升到 61%)。
* 用 PPO 替換 DPO，在相同數據下帶來額外提升 (約 1%)。
* 使用**更大的獎勵模型**幫助不大 (提升約 0.5 個百分點)。
* 混合提示（特別設計的特定任務提示）平均提升不大。但對於**推理等特定領域**，使用特定領域的提示帶來**顯著提升** (尤其是在 GSM8K 上)。
* **總結要點：**
* **數據品質**是構建優秀偏好微調算法**最重要因素**。
* PPO 優於 DPO，但 **DPO 更易於實驗和開發**。
* 擴展獎勵模型幫助不大。
* 使用**特定領域提示**在推理等領域帶來性能提升。
* **Tulu 3 的偏好微調方法：**
* **提示選擇 (Prompt selection)** 很重要。
* 使用包含 SFT 中已用過的提示、新提示和域外提示的組合。
* 從多種模型 (弱模型如 Llama 7B 到強模型如 GPT-4) 生成回覆，以便獲取豐富的偏好數據。
* 使用**在策略數據 (on policy data)** 很重要：將 Tulu 3 模型的完成結果納入訓練數據，以便學習哪些結果更優。
* 使用 **LLM 作為評審 (LLM as Judge)**：讓 GPT-4 評估哪個回覆更好。評估標準包括**有用性 (helpfulness)**、**指令遵循 (instruction following)**、**真實性 (truthful)** 和**誠實性 (honest)**。評估結果二元化為「被選擇」(chosen) 和「被拒絕」(rejected)。
* 優化算法：使用了 DPO 和 SimPO，因 Simplicity 更簡潔，最終選擇了 DPO。
* 消融實驗確認了使用 GPT-4 作為評審更好、結合在策略和離策略數據 (off policy) 效果最佳、引入新提示也能提升結果。
* **3.3 可驗證獎勵強化學習 (Reinforcement Learning with Verifiable Rewards - RLVR)**
* **動機：**
* 偏好微調在推理等複雜任務上可能出現**性能停滯或過度優化 (plat out or overfitting)**。
* 神經網絡獎勵模型分配的分數可能缺乏**直觀意義 (intuition)**，人類反饋也非絕對標準。
* **核心思想：**
* 對於其**正確性可以驗證 (verify their correctness)** 的任務，可以使用一個**更簡單的**獎勵模型。
* 實際上，可以用一個**基於規則的驗證函數 (rule based verification function)** 取代神經網絡獎勵模型。
* 範例：對於「2 + 2 = ?」的問題，如果答案是正確的則獎勵為 1，否則為 0。
* **應用範圍：**
* 適用於具有**標準答案 (ground truths answer)** 的問題，如 GSM8K 和 Math 等數學推理任務。
* 適用於具有**可驗證約束 (verifiable constraints)** 的任務，如精確指令遵循 (例如，要求以特定詞開頭或包含特定詞數)。可以驗證生成結果是否符合這些約束。
* **算法應用：**
* 將基於規則的驗證函數作為環境的代理。
* **優點：** **不需要中間的思維鏈 (intermediate Chain of Thought)**，只需要最終答案或驗證結果。
* 應用經典的強化學習算法進行優化 (例如，使用了 PPO)。
* 使用了數萬到十萬級別的訓練實例。
* 在 Big Bench Hard 等推理任務上進行評估。Flan 數據集被發現對 BPH 有提升作用。
* **驗證函數的實現：**
* 對於數學和推理，可能是簡單的「如果預測等於正確數字則獎勵 1，否則 0」的判斷。
* 對於約束滿足，可能計算符合約束的百分比。
* **RLVR 的成果：**
* 性能曲線顯示，訓練步驟增加時性能**持續提升 (results are going up)**，且**過度優化現象減少 (less over parameter optimization)**。
* 在 SFT 基礎上應用 RLVR 帶來**更高的增益 (higher gains)**。
* 將 RLVR 應用於 DPO 模型之上取得了**最高的數字 (highest number)**。
* 在 GSM8K 和 Math 上看到了顯著的提升。
* 在指令遵循任務 e-eval 上也有增益，但從 DPO 開始應用增益較少 (仍在研究原因，可能數據不足)。
* Flan 數據集上的 RL 顯示對某些推理任務有改進。
* 將此方法應用於 OLMo 2 模型。
* **堆疊多個 RLVR 步驟 (stacking multiple RLVR steps)** 可以帶來更多改進。
* **RLVR 成功的原因：**
* RLVR 本身不是新方法，是使用 RL 的最簡單方式。
* 它之所以現在有效，是因為**基礎模型的品質有了很大的提升 (now base model qualities have improved a lot)**。
* 早期的模型 (如 GPT-2) 品質較差，RL 無法在其上看到顯著提升。
* 現在的模型更好，可以在 RLVR 步驟中更好地進行探索和利用。
* **規模效應：**
* RLVR 在更大模型規模下效果更好 (405B vs 70B)。
* 在 405B 規模下，Math 性能提升更為顯著 (從 60 提升到 67)。
* 正在探索新的優化算法，如 GrPO，在 Qwen 模型上應用已取得了**顯著提升 (significant Improvement)** (例如，從 67% 提升到 84.6%)。
* **Tulu 3 的總結**
* 整合了 SFT (精心策劃的數據混合)、偏好微調 (偏好數據) 和 RLVR (驗證步驟)。
* 模型演示 (demo) 可在 playground.l.org 上體驗。
* **程式碼 (code)**、**數據 (data)** 和**流程框架 (pipeline and framework)** 都已**公開 (publicly available)**。鼓勵使用這些數據來建構更好的後訓練或適應模型。
* Tulu 方法已成功應用於基於 Llama、Qwen 和 OLMo 的模型，並顯示了顯著提升。

**章節 4：測試階段推理技術 (Test Time Inference)**

* **目標：** 在模型生成響應時提升推理能力。
* **Swan 計畫**
* 一個針對推理和測試階段擴展的**極簡方法 (very minimal recipe)**。
* 組成部分：精心策劃的數據 (S1K) 和一個簡單的測試階段擴展算法。
* **S1K 數據集：**
* 收集了大量更高層次的推理數據，包括數學、邏輯推理、概率問題等。這些數據比 Tulu 3 中的數據更複雜，包含奧林匹亞或數學競賽級別的問題。
* 從 59k 問題開始，經過濾除低品質、增加難度和強調多樣性，最終得到 1k 個**高品質數據點**。
* 發現使用 1k 數據和完整的 59k 數據在基準測試上表現**幾乎相似 (almost similar)**。
* **數據註釋：** 從 Google Thinking Gemini 或 DeepSeek R1 中提煉推理步驟和答案。包含「思考詞元」(thinking tokens)。
* **測試階段擴展算法：預算強制 (Budget Forcing)**
* 這是一個非常**簡單 (very simple)** 但**有效 (successful)** 的方法。
* **原理：** 在模型生成回覆時，如果它沒有達到預設的**詞元預算 (token budget)**，就**強制 (Force)** 模型生成更多內容。
* 方法：在模型生成的回應末尾添加一個特定的**詞元 (token)**，如「wait」。這個詞元暗示模型「我們不確定你的答案是否正確」。
* 這**不需要訓練一個模型**來決定何時添加「wait」詞元。
* 透過控制詞元預算和添加「wait」詞元，可以控制生成長度。
* **訓練與成果：**
* 在 Qwen 32B 模型上使用 S1K 數據進行訓練。
* 結果顯示，隨著**生成詞元數量的增加 (with more generated tokens)**，模型在數學任務上的**準確性呈上升趨勢 (scaling Trend)**，包括 Math 500、Math Competition 和 PG level GPQA Diamond 數據集。
* **與其他測試階段方法的比較：**
* 預算強制 (或稱循序擴展 Sequential scaling) 的效果曲線通常比平行擴展方法（如多數投票 Majority voting / 自我一致性 Self-consistency）更陡峭、更成功。
* **其他有前景的推理技術方向：**
* **自我引導生成 (Self-guided Generation)**：在推理時讓模型更具自我意識。
* **Self-RAG (Retrieval Augmented Generation with Self-criticism)**：一個基於檢索增強生成 (RAG) 的模型。模型在生成詞元的同時，**批評自己的結果並進行自我改進 (criticize its outcomes and self-improve)**。模型會生成「批評詞元」(critic tokens) 來判斷生成的回應或檢索到的文檔是否合理。
* Self-RAG 在**綜合科學文獻 (synthesizing scientific literature)** 和回答複雜科學問題方面表現出色。
* 相關的系統有 **Open Scholar** (demos.allen.ai 上可體驗)。

**章節 5：預訓練階段的改進**

* **將推理能力融入預訓練的重要性：**
* 為了擁有更強大的基礎模型，需要將推理能力融入預訓練階段。RLVR 的成功也依賴於更好的基礎模型。
* **訓練階段的劃分：**
* 通常訓練包括多個階段。
* **第一階段 (預訓練 Pre-training)：** 包含熱身期 (warmup) 和餘弦學習率衰減。主要目標是使用**數兆 (trillions) 詞元**的大量非結構化、多樣化文本進行**預測下一個詞元**的訓練。使用能力範圍內的最佳數據。
* **第二階段 (中訓練 Mid-training)：** 在預訓練**後期 (toward the end of training)** 進行。
* **數據：** 使用**高品質數據 (high quality data)**，專門設計用於處理**更複雜的推理任務 (more complex reasoning)** 和程式碼。數據量約為預訓練的 1% (500 億詞元)。
* **方法：** **提升採樣 (upsample)** 高品質預訓練數據，同時引入**監督式微調數據**、大量**推理數據 (reasoning type data)** 和**程式碼數據 (coding data)**。強調數據的**品質 (quality)**。
* 目標：**修補 (patch)** 模型在預訓練中可能不足的能力，例如特定的數學運算能力。透過評估觀察模型表現，進行修補並注入知識。
* **OLMo 2 的數據混合：**
* **預訓練數據：** 包括網頁、程式碼、學術論文、STEM 論文、數學網頁和證明等，總計約 4 兆詞元。
* **中訓練數據：** 大量增加了**數學數據 (lots and lots of math data)**，特別是針對模型不足的部分 (例如，乘法)。包含大量**推理數據**。
* **OLMo 2 成果：**
* 結合預訓練和中訓練後，模型性能**顯著提升 (significant boost)**。
* **最大的提升**出現在 **GSM8K** (數學推理能力) 和 **DROP** (基於數學數據的問答)。
* OLMo 2 (8B 版本) 的表現與 Llama 3 8B 版本**旗鼓相當 (on par)**。

**章節 6：結論與未來方向**

* 人工智慧領域已取得巨大進展。
* 但在許多新興任務上仍需大量研究和創新。
* 未來的研究方向包括（但不限於）：**推理 (reasoning)**、**代理 (agents)**、用於其他領域的語言模型 (如科學領域)。