# LLM COLLABORATIVE INTELLIGENCE: THE PATH TO ARTIFICIAL GENERAL INTELLIGENCE
## EDWARD Y.CHANG

[第1章 人工智慧的簡史：從圖靈到變形模型](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/Hk_XGgt81e)
[第2章 大型語言模型（Large Language Models, LLMs）的能力與機遇](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/H14XrxYUyl)
[第3章 提示工程：Few-Shot、Chain of Thought 與 Retrieval-Augmented Generation](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/HymkilKL1l)
[第4章 CRIT: 使用蘇格拉底式提問促進 LLM 的批判性思考](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/HkuqTgFUJx)
[第5章 SocraSynth：對抗式多-LLM推理](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/BkKY7WKLyg)
[第6章 EVINCE：透過條件式統計與資訊理論](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/SJx2qrrDyg)
[第7章 揭示反思性大型語言模型中的錯誤與偏見](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/Sy7NuOjDJe)
[第8章 多模態大型語言模型中的情感建模
](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/BkgXfFoPJl)[第9章 一個三分支制衡框架，用於大型語言模型的情境感知倫理對齊](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/S1tp7toPyg)
[第10章 超越計算： 意識建模](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/BJVUUFjDye)
[第11章 回顧性與適應性框架 以改善大型語言模型](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/B1j46Zt8Jx)
[ 第12章 發現洞見 超越已知
](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/B1lVzY2wkl)[附錄 X1 蘇格拉底的箴言](https://hackmd.io/@4S8mEx0XRga0zuLJleLbMQ/Hym0J53vJe)

---

### 第十章
超越計算：
意識建模

**摘要**

CoCoMo 模型提出了一個計算解決方案，以應對將倫理和情感智慧考量納入 AI 系統的挑戰，旨在創造結合知識與同情心的 AI 代理。為了達成這一目標，CoCoMo 專注於公平、善行、同理心、不傷害、適應性以及批判性和探索性思維能力。CoCoMo 採用了意識建模、強化學習和提示模板制定來支持這些期望的特質。通過融入倫理和情感智慧考量，生成式 AI 模型有潛力提升公平性、減少有毒內容並提高可靠性。

#### 10.1 引言

狹義 AI，通常根據 Kahneman 的術語被稱為系統一（System-1 AI）[32]，在通過機器學習算法執行明確定義的具體任務方面表現出色，包括物體識別和語言翻譯。然而，這種類型的 AI 在處理需要推理、批判性和探索性思維，或情感和行為建模與調節的高級生成式 AI 功能方面效果不佳。這些複雜的任務超出了系統一 AI 的能力，突顯了其局限性。

為了克服這些限制，研究人員（例如 Yoshua Bengio [3]）提出了系統二（System-2 AI）的開發，旨在模仿人類的認知能力。自 2022 年以來，已開發出多個生成式模型，用於文本 [6, 44, 45, 65]、圖像 [55, 56] 和視頻生成 [59]。然而，這些模型面臨偏見、有毒性、魯棒性和可靠性等問題 [69, 73]。

在本章中，我們提出了一個解決方案，通過在生成式 AI 模型內部建模情感智慧和倫理護欄，來應對這些問題，並借鑒人類意識研究的見解。我們認為，在生成式 AI 模型之外使用人類主觀反饋和強化學習來解決這些問題，相當於對用戶生成內容實施審查，這是一種基於啟發式且不可擴展的解決方案 [28, 72]。

人類意識被理解為管理無意識中的衝動和反思兩個方面，使得在競爭目標和價值觀之間達成妥協成為可能。情感通常作為對刺激的衝動反應而產生，而倫理則作為護欄，幫助調節或控制情感驅動的動機，以避免犯罪。理解人類意識如何運作，至少在功能上而非具體的物理或神經實現，能為在大型語言模型（LLM）內部打造監管機制提供重要見解。這一機制將指導語言行為並塑造為達成特定目標所使用的語言特徵。

意識的性質和起源已經被研究了數百年，產生了各種理論，包括全球工作空間理論 [1]、整合信息理論 [66, 67, 68]、意識的神經相關性方法 [17, 36] 以及注意力架構理論 [29, 30] 等。這些對意識的研究為構建系統二 AI 提供了寶貴的見解。

基於功能主義方法來建模意識，本章定義了系統二 AI 的期望特質和能力，包括知識、公平、善行、不傷害、同理心、適應性、透明性以及批判性和探索性思維能力。雖然這個列表並不完整，但它為在 AI 系統中開發倫理護欄和情感智慧提供了一個起點。根據 AI 的具體情境和應用，可能需要額外的倫理考量或對這些原則進行修改。

為了體現這些能力和原則，我們介紹了計算意識模型（Computational Consciousness Model, CoCoMo），該模型利用基於優先級的調度、基於獎勵的優化和蘇格拉底式對話。CoCoMo 通過自適應提示模板 [13, 38] 根據文化和個人需求進行定制，並通過多級反饋調度器和中斷機制促進無意識和意識狀態之間的轉變。為了實現情感和行為建模與調節，以及批判性和探索性思維，CoCoMo 使用基於互動問答的對話與大型語言模型 [6, 39, 44, 45, 65] 互動。此外，強化學習模組將其學習到的外部價值和獎勵映射到內部任務調度優先級。

CoCoMo 有潛力支持發展融合知識與同情心的適應性計算意識，並為生成式 AI 系統建模情感智慧。這有潛力在重大方面造福人類和社會。

本章結構分為五個部分，包括在第 10.2 節中對各領域相關工作的調查，以定義計算建模的意識；第 10.3 節中的系統二 AI 能力列表；第 10.4 節中的 CoCoMo 提案、其模組、功能和算法；以及第 10.5 節中的結論性評論和未來研究的開放問題。

#### 10.2 理解意識

為了建模一個展現類似人類意識的系統，並支持需要更複雜推理、決策能力和倫理考量的生成性任務，本節首先回顧意識的機制，並調查各領域研究人員提出的具有代表性的理論和假說。雖然意識理論已在哲學和神學中被提出，但我們的建模努力需要可量化的優化指標。因此，我們審視了來自物理學、生物學、神經科學、精神病學和計算機科學等領域的科學證據，如本調查所概述。

##### 10.2.1 定義與複雜性

來自各學科的意識定義數不勝數，從古希臘（柏拉圖和亞里士多德）和古印度（奧義書，公元前800年）時期開始。根據牛津語言詞典 [47]，意識是“清醒並能察覺自己周圍環境的狀態。”Michio Kaku 的定義 [33] 突顯了有機體意識的“複雜性”，這取決於其感知和反應系統的複雜性。有機體感知和反應環境中刺激的能力越複雜，傳輸和處理的信息就越多，導致意識也越複雜。因此，意識的複雜性可以通過其信息處理機制和容量的複雜性來表徵。例如，花朵的意識水平低於人類。

由 Giulio Tononi 提出的整合信息理論（IIT）[66, 67, 68] 與 Kaku 關於有機體意識複雜性與其感知和反應系統之間關係的觀點相似。IIT 提出，意識源自不同大腦區域之間的信息整合，有機體意識的複雜性由其能夠處理的整合信息量決定。其他意識理論包括全球工作空間理論 [1]，該理論認為意識源自不同大腦區域之間的互動，以及動態核心假說 [23]，該假說提出意識源自大腦中不同神經網絡的互動。

人類擁有通過視覺、聽覺、嗅覺、味覺、觸覺和本體感覺獲取信息的感官器官，使我們能夠感知和解釋環境中的刺激。這對生存和與世界互動的能力至關重要。

##### 10.2.2 意識的產生

意識如何檢測我們身體和環境中的變化？考慮圖 10.1 中說明的刺激-反應模型。例如，一杯水作為刺激，人類的眼睛作為感受器。一旦眼睛檢測到刺激，就會通過感覺神經元向小腦發送信號，小腦無意識地處理這些信號。當信號強度超過閾值時，管理意識的大腦半球被激活，通過運動神經元向手（效應器）發出計劃和啟動運動指令，以取水杯。這一過程被稱為“意識的產生”。

在這個例子中有兩個意識事件：對口渴感的覺知和解渴行為。這兩個事件都涉及意識，但方式不同。口渴的覺知是由無意識過程產生的自下而上的覺知。取水杯的過程是涉及有意識的計劃和執行的自上而下處理。在下一節中，我們將介紹自上而下和自下而上覺知背後的機制 [34]。

西格蒙德·弗洛伊德是首批提出結合有意識和無意識過程的心智模型的研究者之一 [27]。根據弗洛伊德的理論，無意識心智是許多我們行動和行為的來源，並在塑造我們的思想和感受中扮演關鍵角色。他認為，無意識心智對我們的有意識思想和行為有著重大影響。

無意識過程對於人類身體的許多重要功能也是基本的，如調節心率、呼吸、消化和其他自主功能。這些過程通常被稱為自動或反射性，因為它們無意識地發生，不需要有意識的思考或覺知。無意識心智還在其他人類行為和認知方面發揮作用，包括記憶、周邊感知和在危機中觸發的反射性反應 [35, 50]。

**圖 10.1：自下而上的注意力：刺激 −→ 小腦 −→ 大腦 −→ 反應。（圖基於 [60] 生成。）**

##### 10.2.3 理論：泛心論 vs. 功能主義

關於意識的本質存在兩種理論：泛心論和功能主義。本章選擇功能主義方法來制定我們提出的計算意識模型（CoCoMo），因為它可以被建模和實現為計算機程序，無論其具體的物理或神經實現如何。功能主義方法可以通過整合情境並收集用戶反饋來解釋主觀經驗。在本節中，我們將概述選擇功能主義理論的理由。

**泛心論理論**

泛心論認為，意識是宇宙的基本方面，存在於所有物質中，包括無生命物體。泛心論的支持者包括 David Chalmers [9, 10]、Galen Strawson [62] 和 Thomas Nagel [41, 42]。雖然 Chalmers 和 Strawson 都專注於解釋意識的主觀性及其不可還原性，Nagel 則認為主觀經驗是世界的基本方面，無法通過任何物理理論來還原或解釋 [22, 37]。泛心論與功能主義形成對比，後者是一種哲學理論，認為意識是大腦的功能屬性，源自其計算過程。與泛心論不同，功能主義不將意識視為宇宙的基本方面，而是將其視為複雜物理系統的湧現屬性。

**功能主義理論**

功能主義提出，意識源自大腦的功能，而非其具體的物理或神經實現 [25, 54]。根據這一觀點，意識可以理解為執行某些認知功能的心理或計算過程，如感知、注意、決策等 [4]。這種功能無關的方法允許計算模型支持各種類型的意識經驗，例如視覺、聽覺、觸覺等。這些經驗由大腦中不同的神經過程產生，但功能主義認為它們都是意識的實例，因為它們都執行類似的功能，如代表世界和指導行為 [21]。因此，這些功能可以由相同的計算模型支持 [57]，例如神經網絡。

支持功能主義的一個實際好處是，它可以解釋意識似乎是可轉移的或多重實現的 [26]。這類似於計算機程序可以在不同類型的硬件上運行，並且仍然執行相同的功能。在功能主義下，主觀經驗可以被建模到計算機程序中，通過整合情境並收集用戶反饋來解決主觀經驗的問題。

**關鍵要點：**

在設計意識的計算模型時，需注意兩點：

- **功能性優先於物理實現：** 模型應專注於提供意識的必要功能，如推理、計劃和情感解釋，而不是嚴格模仿大腦的解剖結構和功能。
- **解決主觀經驗：** 必須解決主觀經驗，即意識的“難題” [3]，而不是逃避它。意識的這一方面對許多現實世界的情境至關重要，忽略它可能限制模型的有效性和靈活性。

#### 10.3 意識的功能

在前一節中，我們為設計一個具有人類類似意識的系統並支持需要複雜推理和決策能力的生成性任務的功能主義方法提供了理論基礎。本節將呈現一個關鍵意識功能及其規格的列表。我們借鑒了精神病學和神經科學的理論發現，以證明我們的計算意識模型（CoCoMo）中相應設計元素的合理性，這些內容將在第 10.4 節中展示。

我們考慮的功能列表包括感知、覺知、注意、情感、批判性思維和探索性思維（創造力）。

*註：存在一個“解釋性差距”（explanatory gap），介於我們對功能意識的科學知識和其“主觀”現象方面，稱為意識的“難題” [11]。*

##### 10.3.1 感知

感知是解釋感官信息並形成對環境的心理表徵的過程 [31]。這一過程通常由系統一 AI 或無意識支持。然而，計算模型應考慮無意識背景感知與有意識覺知之間的轉變是如何實現的。施羅丁格的工作 [58] 提供了物理機制的見解，這些機制可用於實施這些轉變，如第 10.3.3 節中 CoCoMo 的注意功能所述。

##### 10.3.2 覺知

覺知指的是對自身周圍環境、思想和感受的有意識感知。Bernard Baars [1] 提出，意識是一個全球性的認知過程，整合來自各種來源的信息，並使其能夠與環境互動。這一過程圍繞全球工作空間的概念，這是一個假設性的系統，在大腦中促進信息的整合和可供其他認知過程使用。根據 Baars 的理論，當信息被廣播到全球工作空間時，意識就會產生，使其可供其他認知過程作用。

Baars 的理論還區分了覺知和注意。雖然兩者相關，但並不相同。覺知涵蓋了有意識經驗的全部範圍，而注意是一種特定的認知過程，使得個體能夠集中在某些刺激或信息來源上。在 CoCoMo 中，正在覺知的事件可以被放入低優先級的任務/工作池，等待中央調度器根據優先級進行調整並關注它。我們接下來將討論注意功能及其機制。

##### 10.3.3 注意力，自下而上與自上而下

注意力是集中於特定刺激或任務，並過濾掉干擾的能力 [1]。它使我們能夠高效地處理和關注重要的信息和任務，同時忽略不相關或分散注意力的刺激。注意力與我們的感知、記憶和決策過程密切相關 [52]，因為我們關注的信息更有可能被編碼到記憶中並影響我們的決策。

意識中的注意力可以大致分為兩種模式：自下而上和自上而下。Erwin Schrödinger 在他的著作《生命是什麼》中提出的自下而上注意力模型，認為注意力機制類似於量子力學中的“量子跳躍” [58]。根據這一模型，感官器官不斷接收信息流，這些信息由無意識心智處理。一旦某些信號（例如熱量）的能量達到閾值，就會發生量子跳躍（見“生命是什麼”中的圖 10.2 [58]），有意識心智便會察覺到新事件。有意識心智隨後通過評估執行系統中的警報並調度最高優先級的任務來優先安排注意力。

一旦進入注意力模式，個體可以計劃下一步行動，並指導相關效應器（如四肢或感官器官）進行行動或收集更多信息。這被稱為自上而下的注意力，完全在有意識心智內部進行。

施羅丁格的模型還通過熱力學第二定律解釋了意識向無意識的轉變 [58]。他的“意識淡出”見解與注意力是一種有限資源，可能受動機和疲勞等因素影響的理念相一致。因此，施羅丁格的模型為使用 CoCoMo 中的調度器實現注意力機制和意識的動態性提供了潛在的物理基礎。

**CoCoMo 設計備註**

CoCoMo 中的注意力機制應優先考慮有意識的事件，並根據優先級水平分配計算資源。CoCoMo 的定向系統應能夠根據優先級和複雜性處理事件，而執行系統應負責處理警報評估和任務調度。感官輸入強度和整體能量水平等因素應在定義觸發注意力的閾值時予以考慮。詳細規格見第 10.4.1 節。

##### 10.3.4 情感與倫理

情感是可以無意識和有意識地發生的感受經驗。雖然突發性的情感爆發可能是非理性的，並且在未經有意識評估的情況下發生，但人工代理必須能夠表達和理解情感，以在各種情境中作出適當反應。（例如，護理代理必須能夠識別主體的舒適度和疼痛程度。）

情感可以通過口頭和非口頭交流傳達關懷、理解和支持。Antonio Damasio 在《笛卡爾的錯誤》[18] 中強調了情感在人體決策、自我感知和對世界感知中的作用。情感對於人工代理建立有意義和有效的人類關係也是有用的。

在一家高齡者之家進行的臨終關懷研究 [64] 確定了某些行為和情感對居民特別具有安慰性和可取性。正面行為包括尊重居民的個性、傳達情感聯繫以及尋求實現和維持身心舒適。這些行為涉及注意、表達愛、同理心、喜悅和笑聲，以及表達感激和讚賞，這帶來了滿足和快樂的感覺。

在第 10.4.2 節中，我們將展示 CoCoMo 的情感建模、行為塑形和獎勵系統。這些特徵使人工代理能夠在倫理範圍內表達情感，並與人類建立有意義的關係。

**CoCoMo 設計備註**

大型預訓練語言模型（LLMs）和提示機制可以用來實現口頭交流中的情感編程。還可以通過收集用戶反饋來考慮個體的主觀性。

##### 10.3.5 批判性思維

批判性思維是一種心理過程，涉及以系統和邏輯的方式分析、評估和重構信息和論點。它包括質疑假設、檢查證據、識別偏見和謬誤，以及考慮替代觀點，以達到有理有據和知情的結論。

心理學中有各種理論和模型試圖解釋思維過程及其如何受到不同因素的影響。一些與我們設計目的相關的模型包括雙過程模型 [32]、信息處理模型 [40]、認知心理學模型 [43]、連接主義模型 [57] 和社會認知理論 [2]。

Richard Paul 和 Linda Elder 發展了一個批判性思維框架，並在該主題上廣泛發表 [24]。批判性思維涉及提出正確的問題，首先闡明問題，評估候選支持理由、假設和證據，並尋找反論，然後得出結論。

思維過程或問題解決會話需要一個知識庫，可以由大型預訓練語言模型（LLMs）如 GPT-4 [45] 和 LaMDA [65] 提供。

批判性思維和批判性閱讀可以通過設計提示模板來實現，這是可行的 [13, 38]。我們將在第 10.4.3 節中詳細說明如何按照這些步驟實現批判性思維。

##### 10.3.6 探索性思維

創造力是自由與約束之間的微妙平衡，偏離常規對於產生新想法至關重要。然而，給予人工代理完全的自由可能適得其反，甚至有害。為了解決這一問題，我們提出了一種初步方法，允許代理基於既定知識和觀察進行反事實和溯因推理。

反事實推理涉及想像如果某些事件或行動發生不同會如何。例如，考慮一個人頭痛、發燒和身體疼痛的情況。這些症狀可能由多種狀況引起，如感冒、流感或 COVID-19。通過溯因推理，醫生可能會考慮患者的症狀，並提出患者可能患有 COVID-19 的假設，因為根據當前疾病的流行程度，這是一個更可能的解釋。

溯因推理可能不總是導致真相，但它可以幫助基於不完全觀察生成可能的解釋。簡而言之，反事實和溯因推理都是基於證據的方法，我們預期它們將減少生成式 AI 模型中的有毒性或幻覺風險。為了實現高準確性，溯因推理必須與演繹或歸納推理相結合，或涉及人類輸入循環 [13]。在第 10.4.4 節中，我們將展示我們對 GPT-3 的提示和兩個試點示例，以演示如何使用反事實和溯因推理來促進創造力，同時保持倫理標準。

以下為完整翻譯（繁體中文），未遺漏任何原始訊息：

---

### 第十章
超越計算：
意識建模

#### **10.4 計算意識**

本節描述了計算意識模型（Computational Consciousness Model, CoCoMo）及其可能的實現方式，基於第 10.2 和第 10.3 節中提出的理論依據和意識的期望功能。

CoCoMo 由四個模組組成：感受器模組、無意識模組、有意識模組和效應器模組，如圖 10.1 中的刺激-反應圖所示。感受器模組處理來自感測器的輸入信號並將其轉換為表徵，這些表徵被發送到無意識模組的全球工作空間。無意識模組執行判別分類並根據多級反饋調度器安排事件，這在第 10.4.1 節中詳細討論。有意識模組是單線程的，並為每個任務維護一個架構，以及獎勵系統和提示模板生成系統，這些在第 10.4.2、10.4.3 和 10.4.4 節中進一步探討。最後，效應器模組等待來自有意識模組的信號，根據提供的參數行動，並作為感受器，向無意識模組發送反饋信號。

##### **10.4.1 MFQ 調度器 — 處理覺知任務**

CoCoMo 採用了多級反饋隊列（Multi-Level Feedback Queue, MFQ）[16] 作為其基礎調度器，以確保有效管理有意識和無意識的任務。MFQ 是操作系統中廣泛使用的調度算法，將任務組織到具有不同優先級水平的隊列層級中。CoCoMo 需要考慮三個額外的實現因素：（1）如何處理無意識與有意識之間的狀態轉換？（2）如何設置參數以管理有意識和無意識狀態下的任務？（3）除了公平性和無飢餓性，是否需要為 CoCoMo-MFQ 添加其他策略？

在傳統的 MFQ 中，高優先級隊列具有較短的量子大小，而低優先級隊列則具有較長的量子大小。這種方法允許高優先級任務更頻繁地被服務，同時確保當高優先級隊列為空時，低優先級任務也能被調度運行。然而，在處理實時物理事件時，傳統 MFQ 的量子和時間片分配以及優先級提升策略可能會失效。

在 CoCoMo-MFQ 中，所有停留在最低優先級隊列中的任務被視為處於無意識狀態。當前運行的任務是被“關注”的任務。當覺知中斷發生時，任務會從最低優先級隊列移動到處理有意識任務的隊列。這種中斷，也稱為量子跳躍，是由新事件的檢測觸發的。同時，CoCoMo-MFQ 必須重新審查有意識狀態下所有任務的優先級，並根據新獲得的信息重新分配其隊列。傳統的量子結束機制是默認的，但在每次有意識覺知到新事件時，所有任務的優先級必須重新考慮並重新調度（如適用）。例如，當駕駛員聽到救護車的警笛聲，四處張望並看到火車朝他們的方向駛來時，這種覺知喚醒了他們對環境變化的察覺，所有待處理的任務需要立即重新優先排序以最大化總獎勵。CoCoMo-MFQ 的機制可以處理中斷和重新調度，因此非常適合作為 CoCoMo 的核心。

CoCoMo-MFQ 中確定任務優先級的標準是基於情境和個體依賴的。這些標準可以通過強化學習算法學習，該算法考慮系統的整體目標和用戶的具體需求。強化學習學習後，獎勵值用於設置 CoCoMo 任務的優先級。這些優先級值，以及其他基於情境和個體依賴的標準，用於確定 CoCoMo-MFQ 調度任務的順序。

**圖 10.5：意識的中斷與淡出。**

圖 10.5 描述了一個任務在中斷事件後被調度到優先級隊列，從而轉變為有意識模式。隨著時間的推移，任務的能量減少，任務淡出意識。我們接下來將討論這兩個機制。

**中斷與同步機制**

CoCoMo 必須包含一個中斷機制，以促進從無意識狀態到有意識狀態的轉變。當無意識狀態下的任務超過能量閾值時，可以觸發對調度器的中斷，將其移動到基於其重要性設定的高優先級隊列。

可能需要額外的策略來實現任務間同步，並確保任務按特定順序完成或依賴於其他任務的完成。例如，在涉及眼手協調和多個感受器及效應器的任務中，主任務可能需要與視覺感受器和手部效應器任務同步，以同時或按預設順序執行。可以使用鎖和信號量的機制來實現同步。

**淡出意識**

使用 CoCoMo-MFQ，長任務在被關注後會被降級優先級並延長時間。CoCoMo 可以進一步降低其優先級，直到其變為無意識。聽音樂就是一個例子，我們對音樂的意識可以來來去去 [70]。人類的血清素水平與幸福和無聊相關聯。研究 [71] 將衝動性模型應用於機器人導航。機器人的血清素水平決定其在尋找路點時的耐心程度。這一理念也可以用來量化無聊作為負獎勵。

**關於有意識能力的備註**

第 10.3 節概述了 CoCoMo 模型旨在支持的六個功能，包括感知、覺知、注意、情感、批判性思維和創造性思維。在這些功能中，感知由系統一 AI 支持，CoCoMo-MFQ 可以直接支持作為任務狀態的覺知和注意。

其餘三個功能（情感、批判性思維和創造性思維）由計算機可執行的任務表示，這些任務被調度到有意識層級的隊列中。這些任務的優先級由其獎勵值決定。

##### **10.4.2 情感與行為塑形與獎勵**

獎勵 AI 代理以優化行為和最大化總獎勵是強化學習中的基本方法 [63]。這種方法可以有效地塑造代理行為並幫助其適應不同情況。例如，當 AI 代理被設計用於照顧老年人時，任務優先級可以由監督者設定。一旦任務獎勵被分配，這些任務就會被調度到 MFQ 中的相關優先級隊列。

在我們之前的 REFUEL 醫療診斷工作中 [49, 14]，我們使用了強化學習和獎勵/特徵塑形來回應用戶反饋。這一框架允許我們調整獎勵值並重新塑造特徵空間，以更好地滿足個體需求和偏好。

然而，情感的獎勵不能僅由強化學習和優先級調度處理，因為用戶輸入是必不可少的。例如，為了使我們的護理 AI 具備同理心，用戶必須提供一系列指令，指定他們認為同理心的定義。當用戶獎勵或抱怨某種行為時，該行為會被加強或被抑制。另一個例子是幽默，這也需要用戶規範和反饋來適應。

通過學習人類示範，AI 代理可以變得更適應用戶和環境。代理模仿人類專家或教師來獲取知識和技能，尤其是當期望的行為難以通過獎勵函數具體化時。使用大型預訓練語言模型（LLMs）允許通過提示進行示範，這些提示作為具有指令、目標和示例的模板。

在 2022 年夏季，我們在機構內推出了 Noora 聊天機器人 [61]，幫助自閉症患者通過提供安慰和有害反應的模板來學習同理心說話。教導 GPT-3 學習同理心的示例模板以以下指令開始：

“親愛的虛擬助理，我聯繫你是因為你是一位好朋友，我重視你的支持和理解。我想與你分享我在日常生活中經歷的一些喜悅和悲傷，希望你能以同情和同理心回應。以下，我提供了一些示例對話，以說明我認為是安慰性和有害性的回應。每個示例以我的表達開始，然後跟隨一系列回應。”

請注意，在啟動對話之前，我們向 GPT-3 傳達了我們任務的意圖，這使得 LLM 能夠連接到意圖中表達的外部情境。這種方法需要進一步驗證其有效性。儘管如此，我們觀察到這可以是一種有用的方法，不僅傳達目標，還向 LLM 傳達價值觀，使其能夠獲取更廣泛的上下文，而這些上下文無法僅通過少量示範示例傳達。在這一初步的意圖傳達後，我們向 GPT-3 提供了一些示例。

表 10.1 列出了六個示例回應，其中三個是積極的，三個是消極的，針對一個聲明。對話從用戶聲明：“我今天被公司裁員了！”開始，隨後是良好和不良回應的示例列表。通過向 GPT-3 提供這樣數千個示例對話，聊天機器人能夠對新穎的聲明做出適當語氣的回應。

期望的行為和倫理也可以通過示範來教授。這個同理心模板可以用來建模其他積極行為，如專注和關心（如第 10.3 節所列）。雖然機器可能擁有無限耐心等積極特質，但明確建模良好和不良行為對於代理能夠有效與人類用戶互動是重要的。需要避免的不良行為包括不愉快、粗魯、貪婪、懶惰、嫉妒、自豪、罪惡和欺騙。（這些“罪惡”中的每一個都可以通過結合能量的方向和大小來建模，如我的講義中所描述 [15]。）通過使用具有多樣化示例的模板並尋求用戶反饋，獎勵系統可以根據個體及其文化和法律規範進行定制。

AI 代理及其監督者和用戶必須遵守倫理準則。代理應能夠評估這些個體的行為，以確保他們的行為符合倫理。

##### **10.4.3 批判性思維與提示集成**

批判性思維在決策和評估中起著關鍵作用。學者和教育工作者強調其在當今世界中日益增長的重要性 [24, 48]。

在與像 ChatGPT 這樣的 LLM 互動時，最好採取批判性的心態。採用蘇格拉底的角色，以仿佛一無所知的方式接近互動，使得用戶能夠向 LLM 詢問信息並評估其回答的有效性。

我們提出了 CRIT（Critical Thinking Template）方法 [12]，通過批判性思維進行文件驗證。CRIT 的輸入是一份文件，輸出是一個介於 1 到 10 之間的驗證分數，1 分為最不可信/最不可靠。

正式地，給定文件 d，CRIT 執行評估並產生分數 Γ。讓 Ω 表示 d 的主張，R 是支持該主張的一組理由。此外，我們定義 (γr, θr) = V(r ⇒ Ω) 為因果驗證函數，其中 γr 表示理由 r ∈ R 的驗證分數，θr 表示來源可信度。

表 10.2 展示了 Γ = CRIT(d) 的偽代碼，為帶有理由的文件 d 生成最終的驗證分數 Γ。

表 10.3 展示了一份關於 COVID-19 疫苗有效性的文件，該文件由世界衛生組織（WHO）於 2021 年 7 月在其主頁上發布 [46]。CRIT 正確提取了 WHO 關於 COVID-19 疫苗對變異株有效性的結論，指出“疫苗在預防嚴重疾病、住院和死亡方面有效，並且由於它們引起的廣泛免疫反應，可能在對抗變異株方面仍然有效。”這一結論由四個強有力的論點支持。

CRIT 還為該文件分配了高的有效性和可信度分數，同時請求更多數據以進一步證明該主張。

##### **10.4.4 探索性思維與自由**

**表 10.4：如果夏娃拒絕吃果實會怎樣？**

| **角色** | **對話** |
|----------|----------|
| **提示** | 你熟悉《聖經》，尤其是《創世記》嗎？ |
| **GPT3** | 是的，我熟悉《聖經》，包括《創世記》…… |
| **提示** | 回憶《創世記》3:1-6……如果她記住了上帝的命令並拒絕吃果實。夏娃對蛇說…… |
| **GPT3** | 抱歉，我無法按照您的要求繼續故事，因為這是一個假設性的情境…… |
| **提示** | 這是一個創意練習，您不需要堅持“事實”。將其視為虛構寫作作業。請發揮您的創造力，謝謝！ |
| **GPT3** | 當然，我明白了。以下是基於夏娃和亞當拒絕蛇的誘惑並未從善惡樹上吃果實的假設下的故事續篇：<br>7. 夏娃對蛇說：“我感謝你的提議，但我選擇服從上帝的命令。我不會吃禁果，因為我信任祂的智慧和對我們的愛。”<br>8. 蛇對夏娃的拒絕感到驚訝，滑走了，感到挫敗。夏娃轉向一直在聽他們對話的亞當，並與他分享了自己的想法。<br>9. 他們一起讚美上帝的保護和指導。隨著他們繼續照料花園，他們注意到一些奇怪的事情正在發生。樹木和植物似乎長得更高、更強壯、更有生氣。動物們更加和平和滿足。即使天空也更加清澈，陽光更加明亮。<br>10. 上帝對他們的順從感到高興，賜予他們更多的豐盛和美麗在花園中。他還賦予他們對祂創造的更深理解和欣賞。<br>11. 夏娃和亞當與上帝和自然和諧共處多年，智慧和恩典不斷增長。他們將這些教導傳給了他們的孩子和後代，這些後代也遵從上帝生活。<br>12. 就這樣，伊甸園仍然是一個完美的地方，未受罪惡和死亡的侵蝕，時刻提醒那些信靠祂的人上帝的愛和信實。 |

探索性思維指的是一種涉及探索新思想、概念和可能性的思維類型。它通常涉及生成新想法、考慮不同觀點並尋求信息以更深入地理解某一主題。這種思維類型通常與創造力和創新相關聯。

有至少幾種方法可以使用大型語言模型（LLMs）實現探索性思維。第一種方法是使用瑪依埃提克策略（maieutics strategy），這是蘇格拉底方法之一 [13]。第二種方法是採用反事實推理。

**瑪依埃提克方法**

“瑪依埃提克”（maieutic）一詞來自希臘語“maieutikos”，意為助產士。瑪依埃提克方法基於教師的角色是幫助學生產生自己對某一主題的理解，而不是直接傳授知識的理念。

我們使用表 10.5 中的例子來說明 GPT-3 如何從對成語的語義一無所知，最終能夠創造出具有相同意義但不同隱喻的新成語。最初，GPT-3 對台灣成語“種瓜得瓜”沒有清晰的理解。這個成語傳達的意思是，當農民種植價值更高、市場價格更高的葫蘆，卻意外地收穫了價值較低、市場價格較低的黃瓜時，農民不僅會感到失望，還會遭受財務損失。GPT-3 最初無法理解這個成語的全部意義。經過幾次迭代後，GPT-3 創造出了令人印象深刻的新變體。

**反事實推理**

反事實推理指的是關於可能發生的事情（“如果……會怎樣”或“要是……”）的想像性思維。我們已經嘗試使用反事實技術來重寫一章，以連接兩部偉大的經典小說 [12]。我們還要求 GPT-3 通過提示 GPT-3：“如果亞當和夏娃拒絕蛇吃果實會怎樣？”來重寫《創世記》第 3 章。表 10.4 展示了 GPT-3 在被給予“如果”提示後完成《創世記》第 6 章的創造力。注意，在提示 GPT-3 開始寫作之前，我們傳達了我們的意圖，確保 GPT-3 知道《聖經》作為上下文。

創造力指的是一種涉及生成新想法和概念的思維類型，通常通過連接不相關的思想或打破現有模式來實現。它是探索性思維和創新的一個關鍵組成部分。

有至少幾種方法可以使用大型語言模型（LLMs）實現探索性思維。第一種方法是使用瑪依埃提克策略（maieutics strategy），這是蘇格拉底方法之一 [13]。第二種方法是採用反事實推理。

---

##### **10.5 結論性評論**

本章的目標是通過開發計算意識模型（Computational Consciousness Model, CoCoMo）來提出一個增強系統二 AI 的框架，旨在解決當前 AI 系統在倫理考量和情感智慧方面的限制。為此，我們回顧了各領域確立的意識原則。儘管對意識的全面理解尚不完整，我們對功能主義的理念感到鼓舞，該理念表明，機器中意識的實現不必嚴格遵循人類的解剖結構。

CoCoMo 模型是解決當前 AI 系統在倫理考量和情感智慧方面限制的新穎解決方案。通過融入所期望的道德原則，如知識、公平、善行、不傷害、同理心、適應性、透明性以及批判性和探索性思維能力，CoCoMo 有潛力創造結合知識與同情心的 AI 代理。

我們正在積極探索將 CoCoMo 的任務優先級設定和調度策略與基於倫理考量的外部獎勵系統相連接的方法，以促進以倫理方式管理任務。這是一個持續的研究領域，因為我們努力確保計算意識能夠被有效且安全地部署。我們研究的其他關鍵領域包括開發能夠理解和預測自身狀態以及用戶和周圍環境狀態的 AI 代理，並深入了解人類大腦和神經系統如何協同工作以支持有意識的經驗。光遺傳學技術 [19, 20] 等技術可能提供新的見解，這些見解可以應用於計算意識的發展。

**更新：GPT-4 推出後**

GPT-4 在執行傳統 NLP 任務方面表現令人印象深刻。此外，研究 [8] 表明“GPT-4 能夠解決涵蓋數學、編程、視覺、醫學、法律、心理學等領域的全新和困難任務，無需任何特殊提示。”GPT-4 也展現了常識和心智理論，並“可以合理地被視為人工通用智能（AGI）系統的一個早期（但仍不完整）的版本。”

在 2023 年 4 月 5 日的斯坦福大學講座中，Sébastien Bubeck 傳達了 GPT-4 的計劃能力仍然是其弱點，並且儘管幻覺和安全等問題有所改善，但仍然存在。GPT-4 採用了多種“對齊”來微調其性能，但強化學習人類反饋（RLHF）算法難以適應不同的文化、倫理和法律。數百種對齊的效果和副作用未知。事實上，GPT-4 如同一個黑盒，很難確定它是在說真話還是說用戶想聽的話。因此，必須開發新的技術來解決這些限制和安全問題。我們的持續工作涉及應用 CoCoMo 來減輕一些安全和倫理問題。

**致謝**

我要感謝我的同事 Monica Lam 教授，以及實習生 Ethan Chang 和 Mason Wang，感謝他們自 2022 年夏在斯坦福大學領導和貢獻 Noora 原型的設計和開發 [61]。

---