Try   HackMD

活動大共筆：https://hackmd.io/@ejc/2023gaiconf

陳易昇

NVIDIA Omniverse 如何串連工作流加速 AI 創作

前言(什麼是 Omniverse ?)

投影片

  • 幫助、增加協作 (以往都必須用「接力」的方式完成)
    • 傳輸 sync 檔案很方便
  • 有各種不同的軟體、格式，Omniverse 可以把大家連結在一起
  • 各個平台之間的平台
  • 使用者包含(designer、engineer、PM)
  • 每個 party 能透過 USD(新的檔案格式) 連接到 Omniverse Nucleus(讓大家可以sync檔案的server)
  • NVIDIA Omniverse

speciality of NV Omniverse

  • open standard (.usd) and open-source

    • by Pixar

  • Simulation Tech 擬真科技

    • physics simulation
      • even large instance can be simulated
      • MODULUS, AI powered physics simulation

  • AI

  • Specialized Arch

  • Omniverse workspace can be access through VR headset

  • 可以串連的平台

    • Unreal、Ps、blender…
    • 雙向支援的軟體，可以直接接到平台上，使用者對檔案格式無感
    • 單向支援的軟體
    • 讓檔案轉成 USB 格式，透過編譯轉譯器轉意

  • NV PhysX

多種模擬

機械動作、洪水、熱流

Modulus

  • 西門子離岸風力發電
  • 原本做物理模擬需要高達好幾個月
  • 透過擺設優化，讓效率達到為大
  • 計算風機設計
  • 40 day -> 15 min
  • 透過低解析度的優化，達到同樣模擬效果
  • 風流 優化 可視化 將發電效能最大化
  • 10 % lower cost

NVDIA OmniVERSE For 3D Design Collaboration

  • Integrate AR and VR(equals to XR)

  • 家用級 NV 產品也能 access Omniverse

  • use VR to adjust design-加速創作

  • e.g. 帶著 VR眼鏡到場景內調整室內設計的擺設位置(體感使用者觀看螢幕的高度之類的)

  • AI Audio2face (AI-Enabled Facial Animation)

  • Machinima (Simple 3d game cinematics)

  • Create (Simple 3d game cinematics)

  • View (Review & Approvals)

Demo footage: Audio to face

Audio to gesture

Omniverse USD Composer（formerly Case)

RTX renderer 渲染器
可拓展
看到真實虛擬世界，跟個節點做連結

Omniverse FARM
讓 Content 做離線式渲染，用 150 個GPU 在 18 天內算完
未來企業就不用到外面找算圖農場處理了

Video Footage NV Omniverse Farm 如何創造元宇宙版本老黃

Omniverse XR

  • 用光追做虛擬世界協作
  • 不是什麼醜醜的元宇宙或虛擬世界（兇）

有個人和企業版本，一年 9000元美元管理費

omniverse for individuals is free

大公司切出 GPU算力，跟別人做協作
就算只是平板也能調用 GPU 算力

減少浪費、成本節省，時間做出好作品，加速到 Production

Usecase

M&E Media & Entertainment

  • 預演
  • 協作效果

各種人在工作空間工作

協作：藝術家、導演都能做協作，最後呈現給client

RTX On：打光到滿意，再做最後輸出
透過鏡頭偵測動作，再對應到3D人物
用平板掌鏡，發現打光不對，從現實調整，都是即時串在一起發生

M&E例子：

  • 傳統軟體做預演，不支援 TD?
  • 傳統軟體看起來不夠真實
  • 用 Omniverse 可以讓導演看到最接近真實狀況渲染
  • 用 full fidelity
    有光追效果

虛擬世界在每個行業都看得到，經由AI 模擬動作或聲音模擬，都能加速業界前進動作

聲音模擬

NVIDIA AI Foundation

partnered with Google cloud, MS azure and Adobe

為了去面對：Stable Diffusion and CGPT's disruption

  • contact center support
  • Ai video
  • Graphics and Video

AI Foundation (google、Azure)

  • NeMo
    架構 LLM 雲端Service，將前端需求和最後輸出串接到雲端

客服問答系統
跟 AI NeMo對接，快速產出，不用管機房問題，也有做這樣 Service，加速中小企業競爭上需求

加速競爭建置需求

  • Picasso
    面對的是 AI 影像影片生成，或 3D模型 ex.Runway，如何建置自己的？

可以不用再買 A100 或 H100 因為缺貨，你也買不到😂
建置自己模型，優化他，跟自己的資料庫對接

  • Bionemo
    製藥、疫苗有關，藥品和疫苗無法偵測蛋白質組成
    一次研發就是十多年，經由模型 Service，把蛋白質在藥的反應模擬出來
    加速藥品研發
    client: 輝瑞
    透過 DGS 趕上業界需求
    跟上業界需求

總結

  • Omniverse 提供即時協作，幫助創作者專心於創作上

aodio space

經由租用服務，和技術服務，可以搭建生成影片、片模型，甚至製藥都可以選用這些 Service

Q&A

QA截圖

  • 請問omniverse 跟生成式AI的關係？

    • GenAI 幫助 concept 發想，但還是需要 production
    • 所以 GenAI 是協助工作前期，但現階段接力後的工作流依舊沒有加速，需要有 Omniverse 跟 GenAI 接力

  • 講者您好，我們一直都知道 3D 設計軟體對硬體的需求是比較高的，請問 Omniverse 對硬體的需求高嗎？未來有沒有可能降低硬體這方面的門檻嗎？（雖然知道這跟 NVDIA 的 Business 好像有衝突 😂

    • 假設你的工作流比較小，3060 就可以跑 Omniverse 了
    • 軟體之間協作，以前只能開一個 unreal，但如果要同時開好幾個 3D 相關軟體，就需要 Omniverse。
    • 取決於 workflow 所需的 workload，決定需要多少硬體資源
    • 在雲端運算後，串流到電腦裡，減少硬體需求。

  • 請問什麼時候要抽顯卡（來亂不要當真🤪）

    • 沒回答QQ （微笑+發呆）

  • 請問speech to actions 是訓練的，還是用生成式AI產出的？

    • 語音輸入的環境

  • 是否有在 NV 內部導入 GPT 加速內部流程？

    • 目前沒有導入 GPT，但因為自己有 Tool，語言模型和生成式 AI，都已經有很多技術在用
    • 翻譯：我們有很多自己開發的 GenAI Tool，所以不用別人開發的
    • 翻譯：chatGPT 沒我家的 tool 牛
    • 3D 工作流透過

  • NVIDIA 股價？（不用回答）

參考

Last changed by 
 
陳以婕
我是 ichieh，研究使用生成式 AI 的見習生 https://ichiehg0v.github.io/portfolio/
0
2191
Published on HackMD