# Voyager: An Open-Ended Embodied Agent with Large Language Models
旅行者：基于大型语言模型的开放式具身智能体

arXiv: https://arxiv.org/abs/2305.16291

## AI 解析

## Voyager: An Open-Ended Embodied Agent with Large Language Models

### 📝 研究概要
Voyager 是一种基于大型语言模型 (LLM) 的 Minecraft 终身学习智能体，无需人工干预即可持续探索、学习技能和发现新事物。

### ⭐ 研究亮点
* **创新点一:** 提出了一个自动课程 (automatic curriculum)，能够最大化探索，并根据智能体的状态和探索进度动态调整任务难度。
* **创新点二:** 构建了一个可扩展的技能库 (skill library)，用于存储和检索复杂行为的可执行代码，支持技能的组合和复用。
* **潜在影响:** 为构建通用具身智能体 (generally capable embodied agents) 提供了一种新的思路，无需模型参数微调即可实现终身学习和知识迁移。

## 深度解析

### 📚 研究背景
* **理论意义:** 探索了如何利用 LLM 的知识和推理能力来驱动具身智能体的自主学习和探索，为解决开放世界中的长期学习问题提供了新的视角。
* **现实意义:** 在 Minecraft 游戏中构建智能体，可以为现实世界的机器人应用提供借鉴，例如自主导航、任务规划和人机协作等。
* **研究目标:** 设计一种能够持续探索、学习技能和发现新事物的 LLM 驱动的具身智能体，使其在 Minecraft 游戏中表现出卓越的熟练度。

### 🔬 研究方法
* **研究设计:** 设计了 Voyager 智能体，包含自动课程、技能库和迭代提示机制三个关键模块。
* **数据来源:** Minecraft 游戏环境 MineDojo [林夕 Fan, 王冠之 Wang, 江云帆 Jiang, Ajay Mandlekar, 云聪 Yang, 郝毅 Zhu, Andrew Tang, 德安 Huang, Yuke Zhu, Anima Anandkumar] 提供模拟环境和 API。
* **分析方法:** 通过与现有 LLM 驱动的智能体 (ReAct [姚舜宇 Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao], Reflexion [Noah Shinn, Beck Labash, Ashwin Gopinath], AutoGPT [Significant-gravitas/auto-gpt]) 在 MineDojo 中的实验对比，评估 Voyager 的性能。

### 📊 研究发现
#### 实证结果
* **发现一:** Voyager 在 Minecraft 游戏中获得了比现有技术多 3.3 倍的独特物品。
* **发现二:** Voyager 解锁关键技术树里程碑的速度比现有技术快 15.3 倍。
* **发现三:** Voyager 的地图覆盖范围比现有技术长 2.3 倍。

#### 理论贡献
* **贡献点一:** 提出了一种基于自动课程的开放式探索方法，能够有效地引导智能体探索未知的环境。
* **贡献点二:** 设计了一种基于技能库的知识积累和迁移机制，能够支持智能体在新的环境中快速学习和适应。

#### 实践启示
* **启示一:** 利用 LLM 的知识和推理能力可以有效地驱动具身智能体的自主学习和探索。
* **启示二:** 技能库是一种有效的知识表示和复用机制，可以支持智能体在不同的任务和环境中进行迁移学习。

### 🔍 研究局限
* **局限一:** 使用 OpenAI 的 GPT-4 API 成本较高。
* **局限二:** 智能体有时会遇到无法生成正确技能的情况，自动课程具有灵活性，可以在稍后的时间重新尝试此任务。
* **未来研究方向:** 探索如何利用开源 LLM 来降低成本，并提高智能体的稳定性和可靠性。

## 学术对话

### 💡 理论延伸
* **与现有研究的关系:** 该研究扩展了 LLM 在具身智能体中的应用，并结合了自动课程和技能库等技术，为解决开放世界中的长期学习问题提供了新的思路。
* **理论框架的拓展:** 可以将该研究的理论框架应用于其他具身智能体任务，例如机器人操作、自动驾驶等。
* **新的研究方向:** 探索如何将视觉感知和多模态信息融入到 LLM 驱动的具身智能体中，以提高其环境理解和交互能力。

### ❓ 核心问答
#### Q1: 自动课程是如何生成的？
自动课程由 GPT-4 基于 "发现尽可能多的不同事物" 的总体目标生成，并根据智能体的探索进度和状态进行调整。这可以被视为一种情境化的新奇性搜索 [Benjamin Eysenbach, Abhishek Gupta, Julian Ibarz, Sergey Levine; Edoardo Conti, Vashisht Madhavan, Felipe Petroski Such, Joel Lehman, Kenneth O. Stanley, Jeff Clune]。

#### Q2: 技能库是如何构建和使用的？
技能库通过存储成功解决任务的动作程序来增量构建。每个程序都由其描述的嵌入进行索引，以便将来在类似情况下检索。复杂的技能可以通过组合简单的程序来合成，从而迅速增强智能体的能力。

#### Q3: 迭代提示机制是如何工作的？
迭代提示机制通过三种类型的反馈进行自我改进：环境反馈、来自程序解释器的执行错误以及用于检查任务成功的自我验证。在每一轮代码生成中，执行生成的程序以获得环境反馈和来自代码解释器的执行错误，这些信息被纳入 GPT-4 的提示中，用于下一轮的代码改进。

## 📌 总结评价
该论文提出了一种新颖的 LLM 驱动的具身智能体 Voyager，通过自动课程、技能库和迭代提示机制实现了在 Minecraft 游戏中的终身学习和知识迁移。该研究为构建通用具身智能体提供了一种新的思路，并具有重要的理论和实践意义。

## 摘要三问

### 研究问题
本研究旨在解决以下核心问题：
* 如何构建一个基于大型语言模型（LLM）的具身智能体，使其能够在开放式的游戏世界（Minecraft）中持续探索、学习技能并进行创新发现，而无需人工干预？
* 如何设计一个终身学习框架，使智能体能够逐步获取、更新、积累和迁移知识，克服灾难性遗忘，从而在长时间跨度内不断提升自身能力？
* 如何利用LLM的强大能力，实现智能体的自动课程生成、技能库构建和程序迭代优化，从而在复杂环境中实现高效的探索和学习？

### 采用方法
该研究提出了 Voyager，一个由 LLM 驱动的具身终身学习智能体，其核心方法包括以下三个关键组成部分：
* **自动课程 (Automatic Curriculum)：** 利用 GPT-4 生成任务，目标是“发现尽可能多的不同事物”。该课程根据智能体的探索进度和状态，以自下而上的方式展开，实现新奇性搜索（novelty search）。
* **技能库 (Skill Library)：** 将成功解决任务的动作程序存储在技能库中，每个程序都通过其描述的嵌入向量进行索引。利用 GPT-3.5 生成任务计划，并结合环境反馈进行技能检索，从而实现复杂技能的组合和复用。
* **迭代提示机制 (Iterative Prompting Mechanism)：** 通过执行生成的程序获取环境反馈（例如，物品清单和附近的生物）和代码解释器的错误跟踪，并将这些反馈信息融入到 GPT-4 的提示中，进行新一轮的代码优化。该过程重复进行，直到一个自验证模块确认任务完成。
研究使用 MineDojo（一个开源 Minecraft AI 框架）作为实验平台，并与 ReAct、Reflexion 和 AutoGPT 等基线方法进行比较。

### 关键结果
Voyager 的实验结果表明：
* 在 Minecraft 游戏中，Voyager 在探索性能方面显著优于现有技术，获得的独特物品数量是现有技术的 3.3 倍，解锁关键技术树里程碑的速度提高了 15.3 倍，行进距离增加了 2.3 倍。
* Voyager 能够构建一个不断增长的技能库，其中的动作程序可重用、可解释且可泛化到新任务。
* Voyager 能够在新的 Minecraft 世界中利用学习到的技能库从头开始解决新任务，而其他方法难以泛化。
* 消融实验表明，自动课程、技能库和迭代提示机制中的各种反馈类型对于 Voyager 的成功至关重要。
* 即使不进行模型参数微调，Voyager 也能达到优秀的性能，证明了其强大的上下文学习能力。
该研究的主要贡献在于：
* 提出了一个基于 LLM 的具身智能体框架，实现了在开放世界中的终身学习和持续探索。
* 设计了一种自动课程生成方法，能够根据智能体的状态和探索进度动态调整学习目标。
* 构建了一个可扩展的技能库，支持复杂技能的组合和复用，有效缓解了灾难性遗忘问题。
* 提出了一种迭代提示机制，通过环境反馈、执行错误和自验证实现程序的自改进。
总而言之，该研究表明，通过结合 LLM 的强大能力和精心设计的学习框架，可以构建出具有强大探索和学习能力的具身智能体，为通用人工智能的发展提供了一种新的途径。