--- # System prepended metadata title: An Introduction to Newton Physics Engine for Robotics --- # An Introduction to Newton Physics Engine for Robotics ## NVIDIA GTC 2026 產業技術研究報告 --- **Session ID**：S81613 **時間**：2026/03/19（週四）11:00 AM – 12:30 PM PDT **Panel 參與者**：NVIDIA（Director, Simulation Technology）、Disney Research Imagineering（Director, Research Lab Zurich）、Google DeepMind（Simulation Lead）、Skild AI（CEO & Co-Founder） **NVIDIA Technology**：Isaac・Omniverse **授權**：Apache-2.0（Linux Foundation 管理） --- ## 一、場次定位與核心命題 機器人在模擬中學得更快、更安全，但複雜關節、平衡、以及接觸密集（contact-rich）的運動對現有物理引擎仍是挑戰。為了讓虛擬訓練能可靠地轉移到真實機器人（sim-to-real），開發者需要更高保真且可擴展的模擬。 本場次由 NVIDIA、Google DeepMind、Skild AI、Disney Research 共同介紹 Newton：一個開源、GPU 加速、建構在 NVIDIA Warp 與 OpenUSD 上、並支援多 solver 的新物理引擎，用於推進機器人學習與部署。 --- ## 二、背景：現有物理引擎在機器人 RL 的瓶頸 ### 2.1 三大工程痛點 | 痛點 | 具體問題 | 後果 | |------|----------|------| | 接觸與摩擦穩定性 | 多接觸點 + 複雜摩擦模型容易數值不穩 | 策略學到「模擬漏洞」，sim-to-real 失敗 | | 大規模平行模擬效率 | RL/模仿學習常要同時跑上千 envs | CPU 物理引擎被吞吐與成本限制 | | 多物理耦合需求 | 走雪地/沙地、抓取柔軟物、液體/果物互動 | 需可插拔 solver 與耦合機制，單一引擎難涵蓋 | ### 2.2 Newton 的定位 Newton 被官方定位為： - 開源、可擴充的物理引擎 - 建構於 NVIDIA Warp 與 OpenUSD - 由 NVIDIA、Google DeepMind、Disney Research 共同開發 - 由 Linux Foundation 以中立治理方式管理 - 目標是推進機器人學習與開發（robot learning and development） --- ## 三、Newton 的技術架構：三層堆疊 ### 3.1 基底層：NVIDIA Warp（GPU Kernel + 可微分） Warp 是一個開源 Python framework，可把 Python 函式 JIT 編譯成能在 CPU/GPU 上執行的高效 kernel，特別適合模擬、幾何、空間運算。Newton 以 Warp 為核心，讓開發者能以較高階的方式撰寫/擴充物理運算，同時取得 GPU 平行化效益。 | 特性 | 說明 | |------|------| | JIT 編譯 | Python 函式直接編譯為 GPU kernel | | 可微分 | 支援自動微分，可用於梯度式最佳化 | | 高階 API | 不需寫低階 CUDA，以 Python 開發物理運算 | ### 3.2 物理引擎層：多 Solver 架構 Newton 的核心設計是多 solver 架構，支援可插拔的不同物理 solver： | Solver | 角色 | 說明 | |--------|------|------| | MuJoCo Warp | 主要 backend | DeepMind 釋出的 Warp 加速版 MuJoCo，與 MuJoCo 生態相容 | | 剛體動力學 | 核心 solver | 關節、碰撞、約束 | | 顆粒/MPM 類 | 環境 solver | 沙、雪等顆粒介質與剛體互動耦合 | | 自訂 solver | 使用者擴充 | 開發者可針對特定需求開發並插入 | Newton 延伸了 Warp 已棄用的 `warp.sim` 模組，並把 MuJoCo Warp 作為主要 backend，強調 GPU 計算、OpenUSD 支援、可微分、與使用者自訂擴充。 ### 3.3 場景與資產層：OpenUSD Newton 採用 OpenUSD 作為描述機器人與環境的開放標準： - 利用 USD 資料模型與 composition 能力 - 把機器人、場景、材質/地形等資訊聚合 - 允許不同 solver/runtimes 針對特定能力與環境做專門化 - 與 Omniverse 生態可互通 ### 架構總覽 ``` ┌─────────────────────────────────────┐ │ 場景與資產層（OpenUSD） │ │ 機器人描述、環境、材質、地形 │ ├─────────────────────────────────────┤ │ 物理引擎層（多 Solver 架構） │ │ MuJoCo Warp ┃ 剛體 ┃ MPM ┃ 自訂 │ ├─────────────────────────────────────┤ │ 基底層（NVIDIA Warp） │ │ GPU JIT 編譯、可微分、高階 API │ └─────────────────────────────────────┘ ``` --- ## 四、Newton 的四個關鍵特性 | 特性 | 說明 | 工程價值 | |------|------|----------| | GPU Accelerated | 透過 Warp 在 GPU 上跑高效模擬 | 模擬從「天」縮到「分鐘」，不用寫低階 CUDA | | Extensible | 可插拔自訂 solver，支援多物理互動 | 不被單一引擎能力上限卡住 | | Differentiable | 可微分物理支援訓練、設計最佳化、system ID | 梯度式參數/策略最佳化成為可能 | | Open Source + 中立治理 | Apache-2.0，Linux Foundation 管理 | 長期可用、vendor neutral、社群共建 | --- ## 五、與機器人學習管線的整合 Newton 與機器人學習框架（MuJoCo Playground、NVIDIA Isaac Lab）相容，意味著： | 整合面向 | 說明 | |----------|------| | RL 訓練 | 可在既有 RL pipeline 內替換或加入 Newton 物理 backend | | 大規模平行 | 高保真接觸 + 大規模平行 envs 在同一套訓練流程 | | 可微分訓練 | 梯度式策略最佳化、system identification、軌跡最佳化 | | Contact-rich tasks | 抓取、插拔、地形行走等任務更有機會降低 sim-to-real 落差 | | 資產管線 | OpenUSD 與 Isaac Sim / Omniverse 生態整合 | ### 典型機器人學習管線中 Newton 的位置 | 步驟 | 內容 | 技術 | |------|------|------| | ① | 機器人與環境描述 | OpenUSD | | ② | 物理模擬（接觸、關節、地形） | Newton（多 solver） | | ③ | GPU 平行化數千 envs | Warp + CUDA | | ④ | RL / 模仿學習訓練 | Isaac Lab / MuJoCo Playground | | ⑤ | 可微分最佳化（選用） | Warp 自動微分 | | ⑥ | Sim-to-Real 驗證與部署 | 實機測試 + 迭代 | --- ## 六、擴充與自訂 Solver：研究與工程價值 Newton 的多 solver 架構讓開發者可以： - **耦合不同 solver**：例如將 MPM 類 solver 與剛體動力學耦合，支援沙/雪等顆粒介質與剛體互動 - **開發特定環境 solver**：針對布料、軟體、流體等特殊需求 - **「核心 solver + 環境 solver」模式**：用核心剛體/關節 solver 搭配特定環境 solver，建立更接近真實的訓練環境 ### 場次提到的具體範例 | 範例情境 | 涉及物理 | solver 需求 | |----------|----------|-------------| | 走過雪地 | 剛體 + 顆粒介質耦合 | MuJoCo Warp + MPM 類 | | 操作杯子與水果 | 接觸密集 + 摩擦 + 形變 | 高保真接觸 solver | | 人形機器人平衡 | 多關節 + 地面反力 | 剛體動力學 + 接觸穩定性 | | In-hand manipulation | 精細接觸 + 滑動/滾動摩擦 | 高解析接觸模型 | --- ## 七、開源與治理狀態 | 項目 | 狀態 | |------|------| | 程式碼授權 | Apache-2.0 | | 治理組織 | Linux Foundation（vendor neutral） | | 共同開發者 | NVIDIA、Google DeepMind、Disney Research | | 安裝方式 | `pip install "newton[examples]"` | | GitHub 範例 | pendulum、URDF、joints、heightfield 等 | | 社群參與 | 產學界參與者已加入，主打長期可用性與社群共建 | --- ## 八、落地評估框架：六點 PoC 指標 如果你要評估 Newton 是否適合你的專案（humanoid、抓取、外骨骼、醫療機器人等），建議用以下指標： | # | 評估項目 | 量測方式 | |---|----------|----------| | 1 | 接觸穩定性 | 同一任務在不同 seed/步長下，接觸抖動與發散率 | | 2 | 吞吐與成本 | 每秒 env-steps、每張 GPU 可承載 env 數 | | 3 | 可微分需求 | 是否真的需要梯度（system ID、軌跡最佳化、differentiable RL） | | 4 | OpenUSD 資產流程 | 是否要與 Isaac Sim / Omniverse 生態整合 | | 5 | 可擴充性 | 是否需要顆粒、軟體、布料等多物理 solver 耦合 | | 6 | Sim-to-Real 驗證 | 實機測試定義 acceptance criteria（成功率、能耗、接觸力誤差） | --- ## 九、與其他物理引擎的定位比較 | 比較項目 | Newton | MuJoCo（原版） | Isaac Sim / PhysX | Brax / JAX | |----------|--------|---------------|-------------------|------------| | GPU 原生 | 是（Warp） | 否（CPU 為主） | 是（PhysX/Omniverse） | 是（JAX） | | 可微分 | 是 | 有限 | 有限 | 是 | | 多 solver 耦合 | 是（核心設計） | 否 | 有限 | 否 | | OpenUSD 支援 | 是（原生） | 否 | 是（Omniverse） | 否 | | 開源授權 | Apache-2.0 | Apache-2.0 | 部分開源 | Apache-2.0 | | MuJoCo 相容 | 是（MuJoCo Warp） | 是（本體） | 有限 | 否 | | 中立治理 | Linux Foundation | DeepMind | NVIDIA | Google | --- ## 十、決策者應帶走的關鍵結論 | 結論 | 說明 | |------|------| | Newton 解決的是 sim-to-real 的物理保真度問題 | 不是又一個物理引擎，而是針對 contact-rich robot learning 的缺口 | | 多 solver 架構是核心差異化 | 可插拔不同 solver 耦合，不被單一引擎能力上限卡住 | | GPU 加速 + 可微分是雙重價值 | 大規模平行模擬（吞吐）+ 梯度式最佳化（訓練效率） | | OpenUSD 讓資產管線標準化 | 與 Isaac Sim / Omniverse 生態可互通，降低重複建模成本 | | Apache-2.0 + Linux Foundation 確保長期可用 | 中立治理降低供應商鎖定風險 | | 先選一個 contact-rich 任務做 PoC | 驗證接觸穩定性與 sim-to-real gap 後再擴展 | --- ## 十一、延伸學習資源 | 主題 | 建議資源 | |------|----------| | Newton 官方頁 | NVIDIA Developer：Newton Physics Engine（特性、架構、整合） | | Newton 技術部落格 | NVIDIA Technical Blog：Announcing Newton（MuJoCo Warp、多 solver、可微分） | | Newton GitHub | GitHub repo（Apache-2.0、Quickstart、範例） | | Linux Foundation 公告 | Newton 專案治理與願景 | | NVIDIA Warp | Warp 官方文件（GPU JIT、可微分、空間運算） | | MuJoCo Warp | DeepMind：MuJoCo Warp 加速版 | | Isaac Lab | NVIDIA Isaac Lab（機器人學習框架） | | 會後回看 | NVIDIA On-Demand（會後以 S81613 搜尋錄影/投影片） | --- *— 報告完 —*