# **3DCV FINAL README**
HackMD連結：https://hackmd.io/w3C-K8_2QROg3l92KjcMvQ?both
## **Mhformer**
* **Environment**
* python=3.9
* cd MHformer
* Install PyTorch 1.7.1 and Torchvision 0.8.2 following the [official instructions](https://pytorch.org/)
* pip3 install -r requirement.txt
* **Execution**
* Put your dance video(e.g. video.mp4) in MHformer/demo/video
* Following README.md in directory "checkpoint", "demo/lib/checkpoint", "dataset", download relative data.
* python demo/vis.py --video video.mp4
* You will find the directory "output/video", we will use output/video/data.pkl in **Blender operation**

## **Blender Operation**
* ### **Iron Man Model**
* **Iron man 模型下載**

SketchFab 下載連結：https://sketchfab.com/3d-models/iron-man-69dde1ad49e94852984e3d83928efd65
（請下載 GLB file 格式）
* **Iron man 動畫生成**

在 blender scripting 區塊可以執行 「iron_man_animation」 程式，執行前確保在程式碼第 21 行的 mhformer joint 資料 (pkl file) 路徑正確：

        pkl_file_path = pathlib.Path.home()/'Documents'/'資工所'/'碩一上'/'3DCV'/'FINAL'/'side_hustle.pkl'

上述範例中的 side_hustle.pkl 為其中一個跳舞動作，可以更換成 data.pkl、robot.pkl 或 sidetidy.pkl，接著執行程式，就可以在 timeline 區塊中播放 iron man 的動畫。

* ### **Kizuna AI Model**
* **Kizuna AI 模型下載**

SketchFab 下載連結：https://sketchfab.com/3d-models/kizuna-ai-c9eb5d213fe54a96a4b3b77a7b509920
（請下載 fbx file 格式）
* **Kizuna AI 動畫生成**

同樣在 blender scripting 區塊可以執行「Kizuna_animation」程式，執行前也先確保第 21 行的 mhformer joint 資料 (pkl file) 路徑正確，執行程式後就可以在 timeline 區塊中播放 Kizuna AI 的動畫。

* ### **Camera Movement**
* **Camera 軌道生成**

在 blender scripting 區塊執行「camera」程式，執行前也先確保第 21～24 行的路徑資料皆正確，其中路徑中的資料皆會包含在 繳交的 zip 檔案中，執行程式後就可以在 timeline 播放 camera 動畫。
* **輸出 PNG 圖片（for augmented video）**
在確認指定的模型動畫生成完後，且 camera 軌道也生成完，點擊 3D viewport 區域中的 「toggle the camera view」選項，將視角切換到相機的拍攝畫面，並在同一個區域的上方找到 View -> Viewport Render Animation，即可生成透明背景的跳舞圖片。

## **Visual Odometry**
* **Environment**
* python=3.8
* cd VO & pip install -r requirement.txt
* **Execution**
cd VO
1. **Frames Generation**
python video2frame.py {your video path}
2. **Visual Odometry**
python create_rt.py