---
# System prepended metadata

title: '**README**'

---


# **3DCV FINAL README**
HackMD連結：https://hackmd.io/w3C-K8_2QROg3l92KjcMvQ?both
## **Mhformer**
* **Environment**
    * python=3.9
    * cd MHformer
    * Install PyTorch 1.7.1 and Torchvision 0.8.2 following the [official instructions](https://pytorch.org/)
    * pip3 install -r requirement.txt
* **Execution**
    * Put your dance video(e.g. video.mp4) in MHformer/demo/video
    * Following README.md in directory "checkpoint", "demo/lib/checkpoint", "dataset", download relative data.
    * python demo/vis.py --video video.mp4
    * You will find the directory "output/video", we will use output/video/data.pkl in **Blender operation**

## **Blender Operation**
* ### **Iron Man Model** 
    * **Iron man 模型下載**
        
        SketchFab 下載連結：https://sketchfab.com/3d-models/iron-man-69dde1ad49e94852984e3d83928efd65
        （請下載 GLB file 格式）
     * **Iron man 動畫生成**
      
        在 blender scripting 區塊可以執行 「iron_man_animation」 程式，執行前確保在程式碼第 21 行的 mhformer joint 資料 (pkl file) 路徑正確：
        ```
        pkl_file_path = pathlib.Path.home()/'Documents'/'資工所'/'碩一上'/'3DCV'/'FINAL'/'side_hustle.pkl'
        ```
        上述範例中的 side_hustle.pkl 為其中一個跳舞動作，可以更換成 data.pkl、robot.pkl 或 sidetidy.pkl，接著執行程式，就可以在 timeline 區塊中播放 iron man 的動畫。
        
* ### **Kizuna AI Model** 
    * **Kizuna AI 模型下載**
        
        SketchFab 下載連結：https://sketchfab.com/3d-models/kizuna-ai-c9eb5d213fe54a96a4b3b77a7b509920
        （請下載 fbx file 格式）
     * **Kizuna AI 動畫生成**
      
        同樣在 blender scripting 區塊可以執行「Kizuna_animation」程式，執行前也先確保第 21 行的 mhformer joint 資料 (pkl file) 路徑正確，執行程式後就可以在 timeline 區塊中播放 Kizuna AI 的動畫。

* ### **Camera Movement** 
    * **Camera 軌道生成**
         
        在 blender scripting 區塊執行「camera」程式，執行前也先確保第 21～24 行的路徑資料皆正確，其中路徑中的資料皆會包含在 繳交的 zip 檔案中，執行程式後就可以在 timeline 播放 camera 動畫。
     * **輸出 PNG 圖片（for augmented video）**
        在確認指定的模型動畫生成完後，且 camera 軌道也生成完，點擊 3D viewport 區域中的 「toggle the camera view」選項，將視角切換到相機的拍攝畫面，並在同一個區域的上方找到 View -> Viewport Render Animation，即可生成透明背景的跳舞圖片。
        

         
## **Visual Odometry**
* **Environment**
    * python=3.8
    * cd VO & pip install -r requirement.txt
* **Execution**
cd VO
    1. **Frames Generation**
    python video2frame.py {your video path}
    2. **Visual Odometry**
    python create_rt.py
         
         
         
         