# LLM COLLABORATIVE INTELLIGENCE: THE PATH TO ARTIFICIAL GENERAL INTELLIGENCE
## EDWARD Y.CHANG

[第1章 人工智慧的簡史：從圖靈到變形模型](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/Hk_XGgt81e)
[第2章 大型語言模型（Large Language Models, LLMs）的能力與機遇](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/H14XrxYUyl)
[第3章 提示工程：Few-Shot、Chain of Thought 與 Retrieval-Augmented Generation](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/HymkilKL1l)
[第4章 CRIT: 使用蘇格拉底式提問促進 LLM 的批判性思考](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/HkuqTgFUJx)
[第5章 SocraSynth：對抗式多-LLM推理](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/BkKY7WKLyg)
[第6章 EVINCE：透過條件式統計與資訊理論](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/SJx2qrrDyg)
[第7章 揭示反思性大型語言模型中的錯誤與偏見](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/Sy7NuOjDJe)
[第8章 多模態大型語言模型中的情感建模
](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/BkgXfFoPJl)[第9章 一個三分支制衡框架，用於大型語言模型的情境感知倫理對齊](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/S1tp7toPyg)
[第10章 超越計算： 意識建模](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/BJVUUFjDye)
[第11章 回顧性與適應性框架 以改善大型語言模型](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/B1j46Zt8Jx)
[ 第12章 發現洞見 超越已知
](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/B1lVzY2wkl)[附錄 X1 蘇格拉底的箴言](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/Hym0J53vJe)

### 前言

隨著生成式人工智慧（Generative AI）改變我們的世界，專家預測通用人工智慧（AGI，Artificial General Intelligence）可能最早於2040年出現。本書提出了一個觀點，即要實現AGI——具有多樣性、適應性、推理能力、批判性思維以及倫理對齊的特徵——關鍵不在於開發更強大的單一模型，而是在於讓大型語言模型（LLMs）進行智能、協作式的對話。這個概念被稱為「LLM協作智能」（LLM Collaborative Intelligence, LCI），並構成本書探討的基礎。

LCI超越了傳統的「專家混合」（mixture of experts）模型或傳統LLM辯論的框架，通過以下四個核心基礎來優化資訊交換：

1. **平衡探索與利用**
LCI結合多元視角，同時保持基於下個詞元最大可能性預測的穩健推理。此方法確保了探索新穎視角的可能性，同時維持模型從訓練資料中學習的參數穩定性。

2. **調節語言行為**
除了平衡探索與利用外，LCI還動態調節LLMs的語言行為，使其能在爭論與協作之間切換。這促進了富有成效的交流，從而生成多樣化的觀點與新穎的見解。透過調整辯論的爭議性，LCI能探索更廣泛的想法並達成深思熟慮的結論。

3. **透過治理實現角色專業化**
個別LLMs被賦予不同角色：知識形成的「行政部門」、倫理框架制定的「立法部門」、以及進行情境評估的「司法部門」。此結構受到三權分立模式的啟發，通過制衡機制確保平衡的決策，並保障倫理考量。

4. **整合多模態輸入與輸出**
在LCI中，LLMs作為基礎層，類似於人類的無意識過程。正如我們的生物系統（包括基本情緒）為高階認知提供平台，LLMs亦可作為基底，讓感測器模型、認知處理器、推理代理等專業化模組進行互動與演化。此協作框架讓模組化的組件能共同構建超越單一模型所能達成的智慧，通過專業化與協同邁向AGI。

基於這些基礎，本書的十二章內容將讀者系統性地引領，從理論框架到實際應用。關鍵演算法包括用於批判性評估的CRIT、動態對話的SocraSynth，以及通過貝氏統計與資訊理論優化資訊流的EVINCE。我們探討了從醫療診斷到新聞去偏向的應用，並解決了AI安全性中的基本挑戰，透過應用於LLMs的語言、立法與司法模組的制衡機制，確保知識、倫理與情境推理之間的對齊。

一些現代AI的先驅認為，僅依靠LLMs無法實現AGI，原因在於其缺乏持久記憶、規劃能力與物理基礎。例如，LeCun主張真正的智慧需要通過感測器和具身化（embodiment）與物理世界互動，他認為當前的LLMs雖然擅長語言表達，但缺乏真正的理解。他甚至聲稱，一隻貓的感覺-運動能力超過了LLMs，並指出兒童能從極少數範例中高效學習複雜技能，而這是LLMs難以複製的。

然而，這種觀點忽略了一個關鍵事實：人類的大腦並非一張空白的白紙。大腦透過DNA進行初始設定，編碼了數十億年的進化資訊，這些資訊對生存與繁殖至關重要。這種進化藍圖賦予我們無意識的能力，如調節心跳、新陳代謝與呼吸，以及高階功能如視覺、運動協調與平衡。這些基礎系統構成人類智慧得以實現的基石，讓意識專注於學習、適應與解決問題。

類比之下，LLMs可以作為AGI的「無意識基底」，提供一個有效處理龐大資訊的基礎層，而專業化模組則負責感知、行動與高階推理。「LLM協作智能」（LCI）框架體現了這一原則，將感測器模組與輸出處理器整合到LLMs中，構建一個模組化智慧系統。正如人類的無意識過程管理例行與生命維持任務，而意識則專注於複雜決策，在LCI框架中，LLMs可與先進工具（如望遠鏡與量子感測器）協作，發現遠超人類感官能力的模式與見解。

通往AGI的道路並非突然的飛躍，而是結構化整合與演化的漸進過程。正如人類文明透過集體知識的累積而進步，LCI系統中的LLMs也可通過模組化協作超越其當前限制。本書提出了支持這一方向的有力證據、方法學與框架，展示了以基礎基底為根基的系統如何逐步進化至匹配甚至超越人類推理的水平。

**Edward Y. Chang**
2024年10月28日（第二版）
系列編號：π 0010927G003
### 目錄

**前言**
i

**第1章 人工智慧的簡史：從圖靈到變形模型**
7
1.1 定義 ................................................................................ 10
1.1.1 基本術語 .................................................................... 11
1.1.2 一般術語 .................................................................... 11
1.1.3 性能術語 .................................................................... 13
1.2 相似性的視角 .................................................................. 13
1.2.1 語言學視角 .............................................................. 13
1.2.2 計算機科學視角 ...................................................... 15
1.2.3 認知心理學視角 ...................................................... 18
1.2.4 本節總結 .................................................................... 21
1.3 相似性測量的時代 .......................................................... 21
1.3.1 基於規則的時代（1950年代起） ............................ 22
1.3.2 基於模型的時代（1970年代起） ............................ 23
1.3.3 數據中心時代（2000年代起） ............................... 28
1.3.4 上下文感知時代（2010年代起） .......................... 30
1.3.5 本節總結 .................................................................... 32
1.4 總結 .............................................................................. 33

**第2章 大型語言模型的能力與機會**
41
2.1 獨特的能力 .................................................................... 44
2.1.1 跨學科 ...................................................................... 45
2.1.2 跨模態 ...................................................................... 47
2.1.3 訓練後的價值對齊 .................................................. 47
2.1.4 訓練前的內容審查 .................................................. 48
2.1.5 人類知識的限制 ...................................................... 49
2.1.6 更大是否總是更好？ .............................................. 51
2.2 探索未知的未知 ............................................................ 52
2.2.1 研究#1：科學辯論 ................................................ 54
2.2.2 研究#2：擴展對話 ................................................ 58
2.3 結論 .............................................................................. 62

**第3章 提示工程：少量範例、思維鏈與檢索增強生成**
67
3.1 介紹 .............................................................................. 68
3.2 提示方法 ........................................................................ 69
3.2.1 零範例 ...................................................................... 69
3.2.2 單一範例 .................................................................. 70
3.2.3 少量範例 .................................................................. 70
3.2.4 思維鏈 ...................................................................... 71
3.2.5 思維樹 ...................................................................... 72
3.2.6 進一步改進技術 .................................................... 73
3.2.7 示例 .......................................................................... 74
3.3 檢索增強生成（RAG） ................................................ 77
3.3.1 有限上下文LLMs的RAG ....................................... 77
3.3.2 長上下文LLMs的RAG ........................................... 79
3.4 總結 .............................................................................. 81

**第4章 CRIT：大型語言模型的蘇格拉底式批判性思考方法**
83
4.1 介紹 .............................................................................. 84
4.2 相關工作 ........................................................................ 86
4.3 蘇格拉底方法 ................................................................. 88
4.3.1 批判性閱讀示例 .................................................... 91
4.3.2 定義方法 .................................................................. 92
4.3.3 反駁法 ...................................................................... 93
4.3.4 辯證法 ...................................................................... 94
4.3.5 啟發法 ...................................................................... 95
4.3.6 反事實推理 ............................................................ 96
4.3.7 CRIT方法評述 ...................................................... 96
4.4 提示模板工程 ................................................................. 97
4.4.1 基本單範例模板 .................................................... 97
4.4.2 定義澄清 ............................................................... 98
4.4.3 反駁法驗證 ............................................................ 99
4.4.4 啟發法推廣 ............................................................ 101
4.4.5 反事實推理 ............................................................ 104
4.5 初步研究 ...................................................................... 105
4.6 總結 .............................................................................. 107

**第5章 SocraSynth：對抗性多LLM推理**
115
5.1 介紹 .............................................................................. 116
5.2 多代理 SocraSynth 概述 .................................................. 118
5.2.1 生成階段 .................................................................. 120
5.2.2 評估階段 .................................................................. 125
5.3 實證研究 ........................................................................ 127
5.3.1 研究#1：政策討論 .............................................. 128
5.3.2 研究#2：症狀檢查 .............................................. 134
5.3.3 研究#3：爭議性參數 .......................................... 138
5.4 相關工作的評述 ............................................................ 139
5.5 總結 .............................................................................. 141
5.6 附加材料 ...................................................................... 143

**第6章 EVINCE：通過條件統計與信息理論優化對抗性LLM對話**
177
6.1 介紹 .............................................................................. 178
6.2 演算法、原則與理論 ...................................................... 181
6.2.1 資訊理論的基本概念 ............................................ 181
6.2.2 EVINCE 演算法規範 ............................................. 182
6.2.3 理論基礎的原則 .................................................. 185
6.2.4 熵對偶定理（EDT） ............................................. 187
6.3 實證研究 ........................................................................ 187
6.3.1 研究#1：辯論後與辯論前的準確性 .................... 189
6.3.2 研究#2：困惑與機會 .......................................... 190
6.3.3 研究#3：修正真實基準 ...................................... 193
6.3.4 實驗總結 .................................................................. 194
6.4 總結 .............................................................................. 195

**第7章 通過反思性LLM揭示錯誤與偏見**
217
7.1 介紹 .............................................................................. 218
7.2 相關工作 ........................................................................ 220
7.2.1 標籤驗證 .................................................................. 220
7.2.2 有偏基準事實 ...................................................... 221
7.2.3 我們的貢獻：RLDF 方法 ..................................... 223
7.3 方法論 .......................................................................... 224
7.3.1 去偏程序：EVINCE 演算法 ................................ 224
7.3.2 優化與演算法規範 .............................................. 225
7.4 實驗 .............................................................................. 230
7.4.1 實驗#1：偏見檢測 .............................................. 231
7.4.2 實驗#2：偏見減輕 .............................................. 236
7.5 總結 .............................................................................. 238

**第8章 在多模態LLM中建模情感**
251
8.1 介紹 .............................................................................. 251
8.2 情感的定性與定量 ........................................................ 254
8.2.1 觀察與討論 .......................................................... 256
8.2.2 行為情感分析模型 .............................................. 257
8.2.3 情感的納入與排除標準 ...................................... 258
8.3 實證研究：情感的語言特徵 ........................................ 258
8.3.1 快樂與悲傷的比較 .............................................. 259
8.3.2 欣賞/喜悅與厭惡的比較 ..................................... 260
8.4 定性與定量倫理 ............................................................ 263
8.4.1 違背倫理與情感的相關性 .................................. 263
8.4.2 十二種美德與對應罪惡 ...................................... 265
8.4.3 美德（或罪惡）之輪 .......................................... 267
8.4.4 與情境相關的倫理對齊 ...................................... 268
8.5 總結 .............................................................................. 269

**第9章 為LLM提供上下文感知的倫理對齊：三權分立框架**
275
9.1 介紹 .............................................................................. 276
9.2 相關工作 ........................................................................ 279
9.2.1 語言行為建模 ...................................................... 279
9.2.2 人類與AI回饋的強化學習 .................................... 280
9.2.3 挑戰與理論考量 .................................................. 281
9.3 框架設計 ...................................................................... 281
9.3.1 BEAM：行為情感分析模型 ................................ 282
9.3.2 DIKE：語言行為規範建模 .................................. 283
9.3.3 說明性案例 .......................................................... 285
9.3.4 ERIS：對抗性上下文審查以平衡倫理與文化規範
.................................................................................. 286
9.4 初步研究 ...................................................................... 286
9.4.1 情感層評估 .......................................................... 288
9.4.2 行為分類評估 ...................................................... 290
9.4.3 對抗性評估與修正 .............................................. 291
9.5 結論 .............................................................................. 292
9.5.1 詮釋 ........................................................................ 302

**第10章 超越計算：意識建模**
313
10.1 介紹 .............................................................................. 313
10.2 理解意識 ...................................................................... 316
10.2.1 定義與複雜性 ...................................................... 316
10.2.2 意識的起源 .......................................................... 317
10.2.3 理論：泛心論與功能主義 .................................. 318
10.3 意識的功能 ................................................................. 320
10.3.1 感知 ...................................................................... 321
10.3.2 意識 ...................................................................... 321
10.3.3 注意力：自下而上與自上而下 ............................ 321
10.3.4 情感與倫理 .......................................................... 323
10.3.5 批判性思維 .......................................................... 325
10.3.6 探索性思維 .......................................................... 325
10.4 計算意識 ...................................................................... 327
10.4.1 MFQ排程器：關注與感知任務 ............................ 327
10.4.2 通過獎勵塑造情感與行為 .................................. 330
10.4.3 通過提示集成進行批判性思維 .......................... 333
10.4.4 以自由度促進探索性思維 .................................. 334
10.5 總結 .............................................................................. 337

**第11章 改善LLM的回顧與自適應框架**
347
11.1 介紹 .............................................................................. 348
11.2 相關工作 ...................................................................... 350
11.2.1 微調 ...................................................................... 351
11.2.2 檢索增強生成（RAG） ...................................... 351
11.3 回顧與自適應學習 ...................................................... 352
11.3.1 基準測試 .............................................................. 353
11.3.2 DIAG：認知差異診斷 ........................................ 353
11.3.3 PRBE：深度探測 ................................................. 354
11.3.4 修正策略 .............................................................. 359
11.4 練習：實驗 .................................................................. 363
11.4.1 基準測試 .............................................................. 363
11.4.2 深探測與淺探測 .................................................. 363
11.4.3 單一與雙教師LLMs比較 .................................... 363
11.4.4 微調與RAG比較 ................................................ 363
11.5 總結 .............................................................................. 363

**第12章 發掘未知之外的洞察**
369
12.1 介紹 .............................................................................. 370
12.2 第一階段：廣度探測熱身 ............................................ 373
12.2.1 主持人初始化代理GPT-A .................................. 373
12.2.2 對話回合#1 .......................................................... 374
12.2.3 對話回合#2 .......................................................... 380
12.2.4 對話回合#3 .......................................................... 388
12.3 第二階段：從廣度到深度 ............................................ 391
12.3.1 主持人干預 .......................................................... 391
12.3.2 對話回合#4 .......................................................... 394
12.3.3 對話回合#5 .......................................................... 399
12.3.4 對話回合#6 .......................................................... 406
12.4 第三階段：結論 .......................................................... 413
12.4.1 GPT-A的總結陳述 .............................................. 413
12.4.2 GPT-B的總結陳述 .............................................. 414
12.5 觀察與結論 .................................................................. 415

**附錄X1：LLM協作智能格言**
421
**附錄X2：線上章節**
439
**作者簡介**
441