# Virtual Therapist 虛擬心理師 人物動畫
* Gittea：http://140.115.54.26:4000/110522166/VirtualTherapist

## 目標與進度
- [x] 人物模型
- [x] 模型嘴部動畫
- [x] 人物完整動畫
- utter_depression_instruction_a
- utter_ask_depression_suicide_harm
- utter_ask_depression_bad_things_ask
- [x] 完整輸出流程（先使用一個語音動畫測試，實際輸出到 IOS 上測試效果）
- [x] 整理所有語音（每個語音可能需要的情緒表情）
- [x] 輸出所有語音動畫
- [x] 語音觸發動畫
- [x] 實際 IOS 測試效果

## 治療師動畫需求
- [理想流程](https://www.youtube.com/watch?v=cYexMlvGHlE)

### 人物模型
- 需求：男x1 女x1
* 有專業感
- 工具：Character Creator 3
- 負責人：William
- 進度：完成
#### 技術紀錄
- [利用 Character Creator 輸出動畫以及模型到 Unity](https://www.youtube.com/watch?v=HVkHGnmHkNA)

---

### 人物對應語音五官動畫
- 需求：根據語言發音有特定嘴型、表情
- 工具：Audio2Face
- 負責人：楊政哲
- 進度：功能研究 80 %，輸出效果 100 %
- 遇到問題：
- ~~模型上眼睛和牙齒沒有動畫效果、但是輸出到 iClone 時牙齒有~~
- 表情調整因為跟輸出上還有差別，難以調整，可能直接用 iClone 調整
#### 技術紀錄
- [完整教學](https://drive.google.com/drive/folders/1Fzvp_2sCkkhVF8JBZ4tdjrrr6e6u1tKX
)
- [教學補充](https://drive.google.com/file/d/1hyJ2ibFhGDZuNbSlzN3qGChjEq65D9vZ/view)
- [模型拆解工具](https://www.youtube.com/watch?v=Z-S2aWaSW5o
)
- [批量生成對嘴動畫](https://www.youtube.com/watch?v=wBHHsRZtjhM)
- [流程筆記](/dqQJ0GMIT5yKFjGlaB853Q)

---

### 人物完整動畫
- 需求：最終微調人物頭部、表情動畫
- 工具：iClone 8
- 負責人：陳宇揚、William
- 進度：完成，製作中
- 遇到問題：
- ~~iClone 輸出到 Unity 沒有成功~~ Auto Setup for Unity
- ~~特定功能需要購買，暫時以手動調整代替~~ 已購買
- 沒有批量輸出，262個動畫過於耗時
#### 技術紀錄
- ~~[iC to Unity Document](https://soupday.github.io/cc_unity_tools/index.html)~~
- [Motion Live Connection](https://manual.reallusion.com/Motion_LIVE_Plugin/ENU/Content/iClone_7/Pro_7.0/29_Plug_in/Motion_Live/Connecting_to_LIVE_Face.htm)

---

### Unity 動畫指定播放系統
- 需求：後端傳過來一個動畫名稱，前端能找到本地端指定動畫並播放
- 工具：Unity
- 負責人：陳宇揚
- 進度：完成

#### 技術紀錄
- [Extract animations from FBX Model per script](https://answers.unity.com/questions/813960/extract-animations-from-fbx-model-per-script.html)
- [ModelImporter](https://forum.unity.com/threads/how-can-i-get-all-the-animation-clips-imported-from-an-fbx-solved.431669/) 直接讀取fbx中模型並引出
- 成功把動畫讀取成陣列後，[動畫播放系統](https://answers.unity.com/questions/1020575/c-play-animations-from-string-array.html)

---

### Audio2Face -> Blender -> Unity
- 需求：可以把 A2F 設計的**完整臉部動畫**直接放進 Unity 中
- 工具：Blender
- 進度：研究中
#### 技術紀錄
- [Exporting to Unity using Blendshapes within Omniverse Audio2Face](https://www.youtube.com/watch?v=TJqtsnUAKx4)

---

## 模型轉置
- 不同軟體之間模型和動畫要有特定格式和設定
### CC3 -> A2F
- 格式：.usd
- 匯出方式：CC 本身（個人沒有成功，William 有）
- 匯入方式：Audio2Face 直接拖動 usd 到場景中
- 進度：完成
- 遇到問題：
- ~~不知道為什麼模型面數驟降~~ 不影響輸出
- ~~同上，眼角膜材質異常~~ 不影響輸出
### A2F -> iClone
- 格式：.json
- 匯出方式：A2F 本身
- 匯入方式：[Omniverse Audio2Face Plug-in (Beta)](https://marketplace.reallusion.com/omniverse-audio2face-plug-in)
- [文檔](https://docs.google.com/presentation/d/11xH4-XKyVHq-loE_1EZggQ_D1swCjrO624rSa0VPvrk/edit#slide=id.geea3039f57_0_130)
- [iClone 8 說明](https://forum.reallusion.com/517828/)
- [iClone 8 文檔](https://forum.reallusion.com/517828/)
- 進度：完成
- 遇到問題：
- ~~動畫本身匯入效果奇怪~~ 透過 工具 和 iClone 參數設定解決
### iClone -> Unity
- 格式：.fbx
- 匯出方式：iClone 本身
- 匯入方式：
- [iC to Unity tools](https://github.com/soupday/cc_unity_tools_3D/releases/)
- [安裝和使用文檔（PipeLine 是 3D）](https://soupday.github.io/cc_unity_tools/installation.html)
- [Unity 導入簡單版教學](https://manual.reallusion.com/CC_and_IC_Auto_Setup_Plugin/ENU/CC_and_iC_Auto_Setup/1.0/03_for_Unity/Unity_Importing_Character_FBX_File.htm)
- ~~[Auto Setup for Unity](https://github.com/reallusion/Auto-Setup-for-Unity)~~ 這個工具就是 iC to Unity tools 的舊版工具，而且有 Bug
- ~~[Auto Setup for Unity 文檔](https://manual.reallusion.com/CC_and_IC_Auto_Setup_Plugin/ENU/CC_and_iC_Auto_Setup/1.0/03_for_Unity/Unity_Importing_Character_FBX_File.htm)~~
- ~~在 Unity 放入官方的檔案，匯入fbx時直接拖進去 CC_Assets 資料夾就可以了。~~
- 進度：完成
- 遇到問題：
- ~~直接拖入 Unity 會沒有動畫只有模型，需要研究上述工具~~
- ~~Auto Setup for Unity 成功~~
- iC to Unity tools 成功
- ~~衣服與身體會有破圖~~
- CC3 中修改模型本身使其隱藏身體
- Auto Setup for Unity 功能會使 Unity 開啟專案進入無限匯入迴圈
- ~~需要在匯入完成之後把 Auto Setup for Unity 相關檔案全部刪除（CC_Assets 資料夾不用）~~
- 發現是舊版的問題
- ~~輸出模型的動畫沒有命名~~ 解決
- ~~最終 Charactor Creator 輸出模型失敗~~
- 升級 CC4 解決
- ~~輸出模型的動畫會使模型本身座標錯位~~
- iClone 調整動畫時不移動角色模型

#### 彙整動畫方法



1. 至Iclone左下角save輸出motion_plus檔案，檔名在這邊修改匯出。
2. 到CC點選人物模型後按輸出FBX，設定輸出工具unity，純motion輸出，底下選custom並把imotion檔案抓入後，案Export就可以將模型綁在一起。

## 資源
- [雲端](https://drive.google.com/drive/folders/1CIShUFzd8jMhn7gGOg1nLNjzq6DcrHzW?usp=sharing)

### 治療師語音（舊版）
- [mp3](https://drive.google.com/file/d/1XBeg2HqD3jmdErhUK7buCjZ4Ks4004FD/view?usp=drivesdk)
- [wav](https://drive.google.com/file/d/1N3BUbhB3L0TGafi83wKF-y7cCeBQU8aC/view?usp=sharing)