# From Concept to Production: Humanoid Robotics at Scale

## NVIDIA GTC 2026 產業技術研究報告

---

**Session ID**：S81645
**時間**：2026/03/16（週一）3:00–3:40 PM PDT
**主題領域**：Robotics – Humanoid Robots
**產業類型**：Manufacturing
**技術等級**：General Interest
**目標受眾**：Business Executive
**NVIDIA Technology**：Jetson・Isaac・Omniverse・Cosmos

**Panel 參與者**：
NVIDIA（Head of Robotics and Edge Computing Ecosystem）、Tesla（VP, AI Software）、Hexagon Robotics（CEO）、Agility Robotics（CTO）、Skild AI（CEO & Co-Founder）、Stanford / Physical Intelligence（Assistant Professor / Co-Founder）

---

## 一、場次定位與核心命題

人形機器人正從原型（prototype）演進到量產就緒（production-ready）的系統，背後驅動力來自推理型 AI、規模化模擬、與即時邊緣運算的突破。但要真正實現，產業必須縮小「數位智能」與「物理現實」之間的落差。

本場 Panel 匯集全球領先機器人公司的關鍵人物，討論 Physical AI 的未來，以及解鎖真正有能力的人形機器人所需的條件。

### 官方 Key Takeaways

1. 領先團隊如何從資料蒐集、模擬到實地 rollout 進行訓練與部署
2. Physical AI 的技術堆疊（foundation models、world models、control systems）如何跨平台泛化
3. 未來 3–5 年最具潛力的應用、商機與開放研究問題

---

## 二、Panel 參與者與各自代表的路線

本場 Panel 的價值在於：把「整機量產」、「工業部署」、「foundation model 軟體層」、「學界/新創的 robot learning」放在同一張桌上。

| 機構 | 代表角色 | 路線定位 |
|------|----------|----------|
| NVIDIA | Robotics & Edge Computing Ecosystem | 以 Jetson/Isaac/Omniverse/Cosmos 支撐 physical AI 通用基礎設施 |
| Tesla | AI Software VP | 整機 + 軟硬整合 + 量產思維 |
| Hexagon Robotics | CEO | 工業 humanoid「AEON」，強調量測/感測、定位與工業自治 |
| Agility Robotics | CTO | Digit 主打倉儲/物流，以 production deployment / safety / ROI 為主軸 |
| Skild AI | CEO & Co-Founder | 機器人大腦/基座模型，強調跨機型（omni-bodied）與模擬+真實資料閉環 |
| Stanford / Physical Intelligence | Assistant Professor / Co-Founder | 學界+創業雙重視角，robot interaction at scale 的可泛化學習 |

---

## 三、從 Prototype 到量產：人形機器人規模化的四大難關

### 3.1 資料：從「少量 demo」到「長尾情境」的資料工廠化

人形機器人最大的瓶頸是長尾情境（跌倒、滑動、遮擋、物件變異、碰撞、抓取失敗、地形差異）。要量產，資料不能只靠少量人工示範，而需建立可擴張的資料閉環：

| 步驟 | 內容 |
|------|------|
| 模擬產生情境 | 大規模平行模擬生成多樣化訓練資料 |
| 真機蒐集失敗案例 | Failure mining，從部署中挖掘長尾事件 |
| 回灌再訓練 | 新資料回流至訓練管線，持續改進策略 |
| 回歸測試 | 每次更新後驗證既有能力未退化 |

Skild AI 的公開敘述即強調用模擬與人類動作資料訓練，再用所有部署機器人的資料持續改進。

### 3.2 模擬：從「看起來像」到「可轉移（Sim-to-Real）」

量產需要可轉移，而可轉移依賴：

| 關鍵因素 | 說明 |
|----------|------|
| 模擬 fidelity | 物理行為（接觸、摩擦、平衡）的逼真度 |
| Domain randomization | 視覺、物理參數的隨機化範圍 |
| 物理一致性 | 接觸/摩擦/平衡等與真實世界的一致程度 |
| 可重現測試環境 | 回歸測試需要確定性的模擬重播 |

NVIDIA 的 Omniverse/Isaac 路線以及 Cosmos world foundation models 主打「為 physical AI 提供可生成/可推理的世界模型與資料管線」。

### 3.3 控制：把「推理 AI」落到「可驗證的控制系統」

Humanoid 不是只有 planning；它需要連到多層控制：

| 控制層級 | 功能 |
|----------|------|
| Foundation / World Model | 任務理解與情境推理 |
| 任務規劃 | 技能選擇、步驟排序 |
| Whole-body Control | 動態平衡、接觸切換 |
| Manipulation | 手部抓取、插拔、鎖付 |
| Safety Envelope | 力/速度/區域限制、碰撞停止 |

實務上常見分層架構：foundation/world model → 任務規劃 → 控制器（MPC/阻抗/足端控制）→ 即時安全監控。這也是「從數位智能到物理現實」要補的工程段落。

### 3.4 部署：即時邊緣運算與可維運性

量產意味著在現場長時間可靠運作：

| 部署要件 | 說明 |
|----------|------|
| 即時邊緣運算 | Jetson 等平台支援現場推論 |
| 遠端監控 | 即時狀態、告警、遠端介入 |
| 版本治理 | 模型/韌體/策略/安全規則的 OTA 更新 |
| 可維運性 | MTBF/MTTR、零件供應、維修訓練 |
| 能耗與散熱 | 長時間運作的功耗管理 |

Agility 對外以「production deployment / safety / ROI」作為敘事主軸，即反映這些落地要件。

---

## 四、Physical AI 的新技術堆疊

### 4.1 三層堆疊架構

Session 第二個 Key Takeaway 明確指出 foundation models、world models、control systems 形成通用堆疊：

┌─────────────────────────────────────┐
│  Foundation Model（泛化能力底座）     │
│  感知、語意理解、技能組合             │
├─────────────────────────────────────┤
│  World Model（世界生成與理解）        │
│  情境生成、物理推理、資料擴增         │
├─────────────────────────────────────┤
│  Control System（可驗證行為）         │
│  全身協調、安全監控、即時控制         │
└─────────────────────────────────────┘

### 4.2 各層對應的 NVIDIA 技術

| 堆疊層級 | 功能 | NVIDIA 技術 |
|----------|------|-------------|
| Foundation Model | 跨機型可遷移的能力表示 | Isaac GR00T N1（humanoid foundation model） |
| World Model | 情境生成/理解/資料擴增 | Cosmos（open world foundation models + guardrails + data pipeline） |
| Simulation | 高保真模擬與規模化訓練 | Isaac Sim / Omniverse / Newton |
| Control & Deployment | 即時推論與邊緣運算 | Jetson |
| 資產與場景標準 | 機器人與環境描述 | OpenUSD / Omniverse |

### 4.3 跨平台泛化的意義

這套堆疊的設計目標是「跨不同機器人平台泛化」——同一套 foundation model + world model 可以部署到不同廠商的 humanoid 上，差異化跑在 control 層與機械設計層。這也是 Skild AI 所強調的「omni-bodied」路線。

---

## 五、最具潛力的落地場域（3–5 年）

### 5.1 以「可量化 ROI」優先排序

| 場域 | 典型任務 | ROI 論述 | 成熟度 |
|------|----------|----------|--------|
| 倉儲/物流 | 搬運、上料、轉運、拆疊箱 | 環境標準化、ROI 容易算 | 最高（已有部署案例） |
| 工廠彈性工序 | 補料、取放、簡易組裝、巡檢 | 產線變更頻繁時，人形泛用性成本正當 | 中高 |
| 高風險/高負載 | 危險搬運、夜間作業、惡劣環境 | 安全與人力缺口 | 中 |
| 零售/服務 | 理貨、導引、簡單服務 | 勞力短缺驅動 | 中低 |
| 家用通用 | 家務、照護輔助 | 場景極度多樣，可靠度門檻最高 | 低（3–5 年不宜作主戰場） |

### 5.2 導入策略建議

不要把「家用通用機器人」當 3–5 年主戰場。商業導入通常會先從工業可控場域建立可靠度與維運模式，再逐步外擴。建議的優先順序：

1. **先選結構化場域**（倉儲/工廠）建立基線
2. **累積可靠度數據**（MTBF/MTTR、安全事件率）
3. **建立維運模式**（遠端監控、OTA 更新、維修流程）
4. **再擴展至半結構化/非結構化場域**

---

## 六、導入評估指標

若要把 Panel 討論轉成可落地的企業導入/合作評估，建議至少用以下 KPI：

| 指標 | 說明 | 量測方式 |
|------|------|----------|
| 任務成功率 | 按情境分層（常態/長尾） | 模擬 + 真機測試 |
| 安全事件率 | 力超限、侵入禁區、跌倒/碰撞 | 即時監控 + 事件回報 |
| 吞吐與節拍 | 與現場產線節拍對齊 | 實地量測 |
| 可維運性 | MTBF / MTTR | 長期追蹤 |
| 回歸測試覆蓋 | 模型/策略更新後的驗證覆蓋率 | 模擬 + 少量真機 |
| TCO | 部署、保固、維修、人員訓練、停機成本 | 財務分析 |

---

## 七、開放研究問題（3–5 年）

| 研究問題 | 說明 |
|----------|------|
| 長尾情境的系統性處理 | 如何自動發現、生成、與驗證 edge cases |
| Sim-to-Real gap 的量化與監控 | 不只是「看起來能用」，而是有指標可追蹤 |
| Foundation model 的可驗證性 | 大模型輸出如何與安全約束對齊 |
| 多機協作 | 多台 humanoid 在同一場域的協調與避障 |
| 人機協作安全 | 共享工作空間的動態安全策略 |
| 硬體可靠度與成本下降 | 關節、致動器、感測器的量產成本與壽命 |

---

## 八、決策者應帶走的關鍵結論

| 結論 | 說明 |
|------|------|
| 量產的關鍵不是 demo 能做什麼 | 而是資料閉環、回歸測試、維運能力能否規模化 |
| 技術堆疊正在收斂 | Foundation model + World model + Control + Simulation-first pipeline |
| 先從可控場域建立基線 | 倉儲/工廠等結構化場域，以安全與維運作為規模化門檻 |
| 跨平台泛化是趨勢 | 同一套 AI 堆疊可部署到不同廠商的 humanoid |
| 資料閉環是護城河 | 模擬生成 + 真機 failure mining + 回灌再訓練的完整迴圈 |
| ROI 必須可量化 | 不是技術最先進的贏，而是能算清楚 TCO 的先落地 |
| 安全是量產的前提 | 功能安全、協作安全、安全監控不是附加功能 |

---

## 九、延伸學習資源

| 主題 | 建議資源 |
|------|----------|
| GTC26 S81645 場次資訊 | GTC Session Catalog |
| NVIDIA Isaac GR00T N1 | Humanoid foundation model（公開報導與技術摘要） |
| NVIDIA Cosmos | Open world foundation models（官網、Cookbook、docs） |
| NVIDIA Isaac Sim / Lab | 機器人模擬與學習框架 |
| Newton Physics Engine | 開源 GPU 物理引擎（Warp + OpenUSD） |
| Hexagon AEON | 工業 humanoid 與 Robotics division 公告 |
| Agility Robotics Digit | Production deployment 與安全能力公開資訊 |
| Skild AI | Skild Brain、訓練資料路線公開報導 |
| Physical Intelligence (Pi) | Chelsea Finn / Stanford 研究與創業脈絡 |
| 會後回看 | NVIDIA On-Demand（會後以 S81645 搜尋錄影/投影片） |

---

*— 報告完 —*