Reinforcement Learning 的成功與挑戰
===

> Source：NVIDIA — *Transferring Robot Learning Policies From Simulation to Reality* 課程整理

## 1. Reinforcement Learning 的威力

在談 **Sim-to-Real 挑戰** 之前，我們要先理解強化學習（Reinforcement Learning, RL）在機器人領域的價值。

強化學習的核心優勢：

* 能讓機器人在 **模擬環境** 中學會複雜行為，之後再嘗試移植到 **真實世界**。
* 是許多 Sim-to-Real 方法的 **基礎**。

### RL 的經典成功案例

1. **Language Models**

* RL（尤其是 RLHF, Reinforcement Learning with Human Feedback）在大型語言模型中扮演關鍵角色。
* 例如：ChatGPT 能更貼近人類回應，就是靠 RL 強化調整。

2. **Robotics**

* RL 幫助四足機器人學會 **崎嶇地形行走**。
* 優點：能自動適應未知的地面摩擦、斜坡等物理特性，而不用額外感測器。

3. **Game Playing**

* DeepMind 的 AlphaGo / AlphaZero 展現 RL 的威力，在圍棋、象棋、將棋等高維策略遊戲中超越人類。

#### 延伸閱讀與案例

* [Solving Rubik’s Cube with a Robot Hand (OpenAI)](https://openai.com/research/solving-rubiks-cube)
* [Quadrupedal Locomotion (ETH Zürich, YouTube)](https://www.youtube.com/watch?v=)
* [Case Study: RL in Dota2 (Medium)](https://medium.com)

---

## 2. RL 的挑戰

雖然 RL 前景強大，但實際應用（尤其在機器人領域）卻有不少難題。

### (1) 資料效率低

* RL 需要的樣本數極大。
* 一次訓練可能需要 **1,000萬 \~ 10億筆資料**。
* 若要調參數，往往要跑數十次實驗 → 成本與時間都極高。

### (2) 安全性問題

* 在真實機器人上訓練時，前期策略混亂（還未形成完整策略），容易導致：
* 機器人亂動 → 損壞昂貴設備。
* 對實驗人員造成風險。

### (3) 實務難題

* 每次實驗都要 **重置場景**，例如：
* 機器人跌倒 → 必須人工搬起。
* 每次嘗試都要重新配置環境。
* 整體非常耗時且需要人力支援。

---

## 3. 模擬：改變遊戲規則的解方

為了避免上述問題，研究人員引入 **模擬訓練**。

### 模擬的優點

* **速度**：

* 以 NVIDIA Isaac Lab + RTX 4090 為例：
* 模擬 1 秒 ≈ 現實世界 **27 分鐘** 的經驗。
* → 學習加速數百倍。

* **資料存取**：

* 在模擬中，可以取得所有「特權資訊」(Privileged Information)，有助於訓練與除錯。

* **場景生成**：

* 可以無限隨機化場景，讓機器人暴露於更多情境，提升泛化能力。

#### 延伸學習

* [Learning State Representation for Navigation](https://arxiv.org/abs/...)

---

## 4. Sim-to-Real 轉移

### 核心流程

1. 在 **模擬中訓練** 強化學習策略。
2. 把訓練好的模型權重（神經網路參數）存檔。
3. 將檔案載入 **真實機器人** → 直接進行推論 (Inference)。

這就是所謂的 **零樣本部署 (Zero-Shot Deployment)**。

#### 實例：

* **ANYmal Parkour**（Science Robotics 發表）

* 四足機器人在模擬中訓練，直接移植到真實機器人，實現靈活的障礙物穿越。
* [閱讀論文連結](https://www.science.org/doi/abs/10.1126/scirobotics.adi7566)

### 但是有「陷阱」

1. 直接轉移並不總是成功。
2. **Reality Gap（模擬與現實的落差）** 會讓策略失效。
3. 接下來的課程，會專門介紹如何縮小這個落差。

### Next → [The Reality Gap](https://hackmd.io/@10XdHCMRSDKnrGY5zVWFKA/rk5F1iGsgx)

---
希望我的內容對你有所幫助，想看到更多內容歡迎追蹤我的 IG、Threads 等平台。
Threads：[@minimalist_shine](https://www.threads.com/@minimalist_shine)
IG：[@minimalist_shine](https://www.instagram.com/minimalist_shine/)