---
tags: 2021-UnityRL
---

# Discussions

## TODO List

### Unity RL
- [ ] The difference between the "scene flow task" v.s. "instance flow"?
- [ ] The novelty of this work? -- Detailed discussion about the background noise or unnecessary movements -- why we need instance flow?
- [ ] How will the concept potentially affect curiosity-driven approaches (e.g., RND / FICM)

### Instance Flow (to be discussed)
- [ ] Create Dataset
- [ ] Survey Paper
- [ ] Rigid / Non-rigid
...

## Meeting Minutes
### **(2021/02/26 updated) 3D flow & Ego-motion**
* 需要扣掉自己的移動（彥斌 /澔威）
* 設計一個 ego motion 會影響很大的環境，如：自己在轉要丟球打小鳥的環境？
* 如果用 ae 去猜沒有移動過的畫面，對 RL agent 的影響是什麼？（澔威）
* 改原本的 pipline 並算出 3d Flow
* 實驗可以包括 Imitation Learning & Train from Scratch 這兩種設置

### **(2021/02/21 updated) 分工表**
目前大概會分成下面這樣進行

第一階段
a. 設計&簡化上次說的 2d / 3d environment（單純拉物件做環境） - 1 人 (宇雯，筑琪)
* 確認 Action Space
* 2D Environment: 有前進、平移，沒有旋轉
* 3D Environment: 有前進、旋轉
* Reward Setting (起點、終點、撞到物體扣分、時間)
* Obstacle（人、車）
* 2D Environment: 
* 3D Environment: 

b. 負責用 UNITY 的 python API 接到 RL 那邊去，這樣方便之後做事 - 1 人 (嘉尹，馮謙，柏文等)
（參考: https://github.com/Unity-Technologies/ml-agents/blob/master/docs/Python-API.md )
c. 研究一下如何取得 3d flow，先研究原本 unity pipeline，看要改在哪邊，這可能牽涉到 rotation / translation / 相機校正 / rigid or non-rigid 之類，然後需要研究一下如何把 3D flow visualize 跟餵給 RL agent - 2 人 (彥斌，澔威，Maybe 偉芳也可以看看)

Reference:
1. https://github.com/carrieeeeewithfivee/mlagent_instflow
2. https://github.com/U3DC/Image-Synthesis-for-Machine-Learning

d. 整理實驗 & Survey 相關論文 - 1~2 人 (小瑋 & 他的愉快夥伴們)

這第一階段的東西就是先研究不同 visual representation 對 RL agent 造成的影響，分析好之後有機會可以先投出去 CVPR workshop (https://www.adp3.org/)

接著第二階段會根據第一階段做些微調整，不過方向是把研究結果用到現實世界
因此會需要 flow instance，需要努力的方向如下：
a. 建立一個以 human instance 為主的 dataset（目前構想是用 DensePose 產生 non-rigid / SOTA instance segmentation 產生 rigid） (澔威，恭，宇雯，筑琪)
b. 需要研究 matching algorithm
c. 設計 model

### **(2021/02/08 updated)**
5. Impact of Depth Map
* 設計因為 3D 移動所造成 2D Flow 看不出來的 Case (e.g., 從左前方靠近 / 向右前方遠離)
* 測試有無 Depth Map 的影響
* 如何解決旋轉所造成的抵銷？可以考慮固定方位的 360 相機
* 考慮單純 2D Flow 的 Case (e.g., 車子往前行進，行人從左右竄出）