---
# System prepended metadata

title: 從 LLM 到世界模型
tags: [LLM]

---

# [AMI-2025] - 楊立昆 (Yann LeCun) 的 AI 範式轉移：從 LLM 到世界模型

2025 年底，圖靈獎得主 **楊立昆 (Yann LeCun)** 宣布離開 Meta 核心管理層，創立 **AMI (Advanced Machine Intelligence)** 公司。這標誌著 AI 發展正式從「大語言模型 (LLM) 參數競賽」轉向「世界模型 (World Models)」與「具身智能」的新階段。本筆記統整楊立昆對 AGI 的否定、對自回歸模型的批判，以及他提出的 **JEPA** 核心架構。

---

## 1. 🛑 對 AGI 與 LLM 路線的徹底反思

楊立昆認為當前以預測下一個 Token 為核心的 LLM 路線已觸及天花板，無法通往真正的智能。

- **否定 AGI 概念**：楊立昆認為「通用智能」是偽命題，人類智能本質上是高度專業化的（例如具身交互），而非全知全能。他提倡以 **AMI (先進機器智能)** 替代 AGI，專注於物理常識、持久記憶、複雜推理與可控性。
- **自回歸死結 (Autoregressive Deadlock)**：
- **機率性幻覺**：LLM 採用的自回歸生成機制，每一步預測都是一次機率賭博。
- **誤差累積**：即使單步錯誤率僅為 0.1%，生成長序列時邏輯正確的機率會呈指數級暴跌。這決定了 LLM 永遠無法處理長程邏輯連貫的任務。


- **信息論帶寬不對稱**：
    - **文本 vs. 視覺**：LLM 學習了數十萬億 Token，卻缺乏 4 歲小孩具備的物理常識。
    - 文本是低維、高抽象的離散信號；而視覺等感官數據是高維、含冗餘的連續信號。**樣本效率**的巨大差異導致 LLM 無法觸及現實本質。



> **核心金句**
> 「用預測下一個詞的方法來創造 AGI，就像是想用算盤登陸火星一樣。」

---

## 2. 🌀 JEPA 架構：通往世界模型的路徑

為了讓 AI 具備預測物理世界變化的能力，楊立昆提出了 **JEPA (Joint-Embedding Predictive Architecture，聯合嵌入預測架構)**。

- **放棄像素級生成**：與 Sora 等生成式模型不同，JEPA 不重現隨機噪聲（如樹葉擺動），而是學習抽象層面的**因果結構**。
- **潛空間預測 (Latent Space Prediction)**：模型在抽象表征空間中進行預測，而非像素空間。

### JEPA 的三大約束機制 (VICReg)：

為了防止模型出現「模型坍塌」（即不管輸入什麼都輸出相同表征），採用了以下技術：

1. **方差 (Variance)**：強制表征向量保持多樣性。
2. **不變性 (Invariance)**：確保同一物體在不同視角下具有一致的表征。
3. **協方差 (Covariance)**：減少維度間的冗餘，最大化信息熵。

---

## 3. 🧠 系統一與系統二：推理能力的缺失

楊立昆引用丹尼爾·卡尼曼的理論，指出當前 LLM 的侷限性：

- **系統一 (快思考)**：直覺式、反應式。當前 LLM 均屬於此類，無論問題難易，消耗算力與處理邏輯完全相同。
- **系統二 (慢思考)**：需要集中註意力、分步規劃。人類的推理是在抽象空間迭代優化，而非逐字生成。
- **莫拉維克悖論 (Moravec's Paradox)**：機器能解決微積分，卻無法穩定地完成「收餐桌」或「開礦泉水瓶」等簡單物理任務。這證明了 **物理世界直覺理解** 的重要性。

---

## 4. ⚡ 硬件與生態觀點：數字邏輯與開源主義

- **硬體哲學：模擬計算 vs. 數字通訊**：
- 楊立昆認為通用 AI 硬體未來仍將以 **CMOS 數字邏輯** 為核心。
- 模擬信號長距離傳輸會產生信噪比衰減，不具備數字信號的可再生與復用優性。
- **開源是 AI 安全的基石**：
- **反對壟斷**：若 AI 入口被少數幾家公司控制，將威脅文化多樣性與數據主權。
- **Galactica 事件反思**：批評輿論對開源模型（Galactica）與封閉模型（ChatGPT）存在雙標，強調開源能推動全球研究者共同解決基礎理論問題。



---

## 5. 🔮 未來願景：機器人的黃金十年

楊立昆認為 AI 的終極角色是**人類智能的放大器**。

- **通用機器人大腦**：隨着世界模型與 JEPA 的突破，AI 將為機器人提供物理世界理解力，解決 L5 級自動駕駛等遺留難題。
- **新文藝復興**：AI 將像工業革命放大體力一樣，大幅增加社會的智能供給，應用於藥物研發、生命科學與個人化服務。

> **結論**
> AI 應回歸對現實世界的理解（AMI），而非困在文本的機率遊戲中（LLM）。
