---
title: 陳易昇
tags: AI
---

:::success
活動大共筆：https://hackmd.io/@ejc/2023gaiconf
:::

[TOC]

# 陳易昇
## NVIDIA Omniverse 如何串連工作流加速 AI 創作

### 前言(什麼是 Omniverse ?)

[投影片](https://drive.google.com/file/d/1Agb0CDyaa2L4qyvnfYxQ7wHip591B9Ft/view?usp=share_link)

- 幫助、增加協作 (以往都必須用「接力」的方式完成)
- 傳輸 sync 檔案很方便
- 有各種不同的軟體、格式，Omniverse 可以把大家連結在一起
- 各個平台之間的平台
- 使用者包含(designer、engineer、PM)
- 每個 party 能透過 USD(新的檔案格式) 連接到 Omniverse Nucleus(讓大家可以sync檔案的server)
- [NVIDIA Omniverse](https://www.nvidia.com/zh-tw/omniverse/)
### speciality of NV Omniverse
- open standard (.usd) and open-source
- by Pixar
- Simulation Tech 擬真科技
- physics simulation
- even large instance can be simulated
- MODULUS, AI powered physics simulation
- AI
- Specialized Arch
- Omniverse workspace can be access through VR headset

- 可以串連的平台
- Unreal、Ps、blender....
- 雙向支援的軟體，可以直接接到平台上，使用者對檔案格式無感
- 單向支援的軟體
- 讓檔案轉成 USB 格式，透過編譯轉譯器轉意
- NV PhysX

多種模擬

機械動作、洪水、熱流

Modulus
- 西門子離岸風力發電
- 原本做物理模擬需要高達好幾個月
- 透過擺設優化，讓效率達到為大
- 計算風機設計
- 40 day -> 15 min
- 透過低解析度的優化，達到同樣模擬效果
- 風流 優化 可視化 將發電效能最大化
- 10 % lower cost

### NVDIA OmniVERSE For 3D Design Collaboration
- Integrate AR and VR(equals to XR)
- 家用級 NV 產品也能 access Omniverse
- use VR to adjust design-加速創作
- e.g. 帶著 VR眼鏡到場景內調整室內設計的擺設位置(體感使用者觀看螢幕的高度之類的)

- AI Audio2face (AI-Enabled Facial Animation)
- Machinima (Simple 3d game cinematics)
- Create (Simple 3d game cinematics)
- View (Review & Approvals)

Demo footage: Audio to face

Audio to gesture

Omniverse USD Composer（formerly Case)

RTX renderer 渲染器
可拓展
看到真實虛擬世界，跟個節點做連結

Omniverse FARM
讓 Content 做==離線式渲染==，用 ==150== 個GPU 在 18 天內算完
未來企業就不用到外面找算圖農場處理了
> Video Footage [NV Omniverse Farm 如何創造元宇宙版本老黃](https://www.youtube.com/watch?v=f_V30ueEXE4)

Omniverse XR
- 用==光追==做虛擬世界協作
- 不是什麼醜醜的元宇宙或虛擬世界（兇）

有個人和企業版本，一年 9000元美元管理費

omniverse for individuals is free

大公司切出 GPU算力，跟別人做協作
就算只是平板也能調用 GPU 算力

減少浪費、成本節省，時間做出好作品，加速到 Production

### Usecase

M&E Media & Entertainment
- 預演
- 協作效果

各種人在工作空間工作

協作：藝術家、導演都能做協作，最後呈現給client

RTX On：打光到滿意，再做最後輸出
透過鏡頭偵測動作，再對應到3D人物
用平板掌鏡，發現打光不對，從現實調整，都是即時串在一起發生

M&E例子：
- 傳統軟體做預演，不支援 TD?
- 傳統軟體看起來不夠真實
- 用 Omniverse 可以讓導演看到最接近真實狀況渲染
- 用 full fidelity
有光追效果

虛擬世界在每個行業都看得到，經由AI 模擬動作或聲音模擬，都能加速業界前進動作

聲音模擬

### NVIDIA AI Foundation

partnered with Google cloud, MS azure and Adobe
<!-- 有 Adobe 嗎我記不清了 -->
為了去面對：Stable Diffusion and CGPT's disruption

- contact center support
- Ai video
- Graphics and Video

AI Foundation (google、Azure)

- NeMo
架構 LLM 雲端Service，將前端需求和最後輸出串接到雲端

客服問答系統
跟 AI NeMo對接，快速產出，不用管機房問題，也有做這樣 Service，加速中小企業競爭上需求

加速競爭建置需求

- Picasso
面對的是 AI 影像影片生成，或 3D模型 ex.Runway，如何建置自己的？

可以不用再買 A100 或 H100 ~~因為缺貨，你也買不到😂~~
建置自己模型，優化他，跟自己的資料庫對接

- Bionemo
製藥、疫苗有關，藥品和疫苗無法偵測蛋白質組成
一次研發就是十多年，經由模型 Service，把蛋白質在藥的反應模擬出來
加速藥品研發
client: 輝瑞
透過 DGS 趕上業界需求
跟上業界需求

## 總結
- Omniverse 提供即時協作，幫助創作者專心於創作上

aodio space

經由租用服務，和技術服務，可以搭建生成影片、片模型，甚至製藥都可以選用這些 Service

## Q&A

[QA截圖](https://hackmd.io/_uploads/Hyv3zYE4h.png)

- 請問omniverse 跟生成式AI的關係？
- GenAI 幫助 concept 發想，但還是需要 production
- 所以 GenAI 是協助工作前期，但現階段接力後的工作流依舊沒有加速，需要有 Omniverse 跟 GenAI 接力
- 講者您好，我們一直都知道 3D 設計軟體對硬體的需求是比較高的，請問 Omniverse 對硬體的需求高嗎？未來有沒有可能降低硬體這方面的門檻嗎？（雖然知道這跟 NVDIA 的 Business 好像有衝突 😂
- 假設你的工作流比較小，3060 就可以跑 Omniverse 了
- 軟體之間協作，以前只能開一個 unreal，但如果要同時開好幾個 3D 相關軟體，就需要 Omniverse。
- 取決於 workflow 所需的 workload，決定需要多少硬體資源
- 在雲端運算後，串流到電腦裡，減少硬體需求。

- 請問什麼時候要抽顯卡（來亂不要當真🤪）
- 沒回答QQ （微笑+發呆）
- 請問speech to actions 是訓練的，還是用生成式AI產出的？
- 語音輸入的環境
-
- 是否有在 NV 內部導入 GPT 加速內部流程？
- 目前沒有導入 GPT，但因為自己有 Tool，語言模型和生成式 AI，都已經有很多技術在用
- 翻譯：~~我們有很多自己開發的 GenAI Tool，所以不用別人開發的~~
- 翻譯：~~chatGPT 沒我家的 tool 牛~~
- 3D 工作流透過
- NVIDIA 股價？（不用回答）

## 參考
- 說會有投影片
- [AI Foundations 是 NVIDIA 為企業準備的自訂生成式 AI、大型語言模型雲端服務](https://chinese.engadget.com/nvidia-ai-foundations-customizable-genewrative-ai-cloud-service-060059293.html)
- [NVIDIA 企業級生成式 AI](https://www.nvidia.com/zh-tw/ai-data-science/generative-ai/)
-

<!-- Nvidia, YES! -->