---
tags: 北科
---

# 作業進度&研究進度

## <font color="#f00">產學合作共用雲端:</font>
https://drive.google.com/drive/folders/1xicXMnsP6D5e2eo0mUU6fqSbTZsm4lvq

2022/06/06
資料科學作業二
字體編碼作業六

2022/06/07
預計研究的方向
https://forum.gamer.com.tw/C.php?bsn=60076&snA=7107452

2022/07/21
找論文:
cvpr
tvcg

2022/08/16
https://www.theiamarkerless.ca/
https://www.youtube.com/watch?v=JPXqcZ6juvc
https://www.youtube.com/watch?v=Uz5_vdpKJxE
vnect

https://www.ideaslab.com/

2022/08/23
找cvpr iccv motion capture相關論文

---

## 2022/09/16

按照軟體、學術論文、教學影片 分開收集

下禮拜需列出所有市面上做出Motion Capture的廠商軟體

## Vtuber Studio :
https://store.steampowered.com/app/1325860/VTube_Studio/

作者: Denchi

Vtuber Studio 是一個app可以被使用在iPhone/iPad, Android, macOS, Windows上。被使用在Live2D的上半身頭部模型，但不能使用在3D模型上。目前已經開法約3年左右是在unity上製作的開源軟體。

---

## next-system公司:
公司位於日本
https://www.next-system.com/en
### VisionPose:
目前僅公開Windows版本，iOS版本還在開發中； 為一個高精度的AI動作捕捉軟體可以捕捉單純影片中人類的骨架，使用unity開發。
* Detecting 30 keypoints of the human body at max 60 FPS in real time
* 3D inference with 2 cameras (Standard),
* 3D inference with a single camera (Single3D*)
沒有任何使用限制 包括商用，分為免費版本以及付費版本。

ideaslab
公司位於台灣
https://www.ideaslab.com/
網站內容並不完整，推測使用人工智能技術開發動作捕捉軟件，並且也有做動作識別、情緒分析、3D網格技術(提供運動中的人體地形數據)

## DeepMotion
公司位於美國
https://www.deepmotion.com/

透過物理仿真、計算機視覺以及機器學習，來將虛擬生物和虛擬機器的物理運動和數字動畫串聯起來。目前觀看官網的影片好像只有做上半身的影片動作捕捉。

價格方案

## Move
公司位於英國
https://www.move.ai/

使用先進的人工智能、計算機視覺、生物力學和物理學從視頻中提取自然人體運動，自動將數據重新定位到您的角色裝備。在任何地方捕捉動作並直接導出到任何遊戲引擎或數字環境中。

## plask
公司位於美國
https://plask.ai/

透過機器學習來綁定模型的骨架進行運動。

價格方案

## RADiCAL
公司位於美國
https://getrad.co/

RADiCAL專注於從 2D 內容檢測和重建 3D 人體運動。人工智能驅動的 3D 動作捕捉——在雲端和每台設備上。
RADiCAL的人工智慧解決方案搭配 NVIDIA GPU，只要求遊戲開發商、3D 圖形藝術家、電影製作人員和 AR／VR 迷擁有一個實體裝置，即一具 2D 相機，就算是一具手機也行，無需使用其它硬體、攝影棚或精密的感應器裝置，此舉大幅降低了相關成本與工作量。(2018年的訪問)

為付費軟體

---

Youtube 教學
https://www.youtube.com/watch?v=UNW78Z8pvSU&ab_channel=SoloGameDev

https://www.youtube.com/watch?v=ZuPtPnT8DLs&list=PL624GOtU88c4J9rGy7ZWjeSkOvCvuavan&ab_channel=ChengMichael

電腦動畫hw13 hw14的論文全部彙整起來

---

問惠君 模型的標準參數與只有自己有分開並印出來
https://docs.google.com/spreadsheets/d/13cBOKd5wDNoTmQpyGPsTdrm9Qc58KhIkKGtQM3oQ4Dc/edit#gid=555564895

---
2022/10/05
作業17 DEMO
https://www.youtube.com/watch?v=3qhs5IRJ1LI&ab_channel=CEBStudios

https://github.com/carlosedubarreto/vibe_win_install

---

2022/10/06

需要製作 10/28 需要的 teamlab公司介紹影片
需要包括數位內容的介紹 以及職缺一覽
內容報告大概5分鐘
(之後提醒老師訂便當、借教室)

查詢VIBE 需不需要GroundTruth

---

2022/10/13

尋找與3D multi camera Motion Capture相關的論文

XNect: Real-time Multi-Person 3D Motion Capture with a Single RGB Camera:
https://arxiv.org/abs/1907.00837

Neural Monocular 3D Human Motion Capture with Physical Awareness:
https://arxiv.org/abs/2105.01057

### Real-time 3D human pose and motion reconstruction from monocular RGB videos:
(cavw 2019)
https://onlinelibrary.wiley.com/doi/full/10.1002/cav.1887?casa_token=lz-mL-bP45YAAAAA%3AvY0-AleMFADQNjCTxDTdoGPOP9b083ULJPVVRUBlY9fYSjJHUCciFpWSEUZKglkDEjk8A1CnNyAQIw8m

### ElePose: Unsupervised 3D Human Pose Estimation by Predicting Camera Elevation and Learning Normalizing Flows on 2D Poses:
(cvpr 2022)
https://arxiv.org/abs/2112.07088

使用基準數據集 Human3.6M 和 MPI-INF-3DHP

研究
https://github.com/zhangyux15/4d_association
看可否執行

---
2022/11/03

Voxelpose demo 測試日誌
https://github.com/microsoft/voxelpose-pytorch#data-preparation
資料來源:
https://github.com/CMU-Perceptual-Computing-Lab/panoptic-toolbox
我是用git bash 跑getData.sh 下載資料
然後需要用ubuntu 下載ffmpeg 去將影片轉成圖片檔供程式訓練
在這邊需要注意
所有的sh檔 需要改成 UTF8 LF不然程式沒法轉圖片

---

2023/02/03
要看的影片
https://www.youtube.com/watch?v=AUy6uiUhpUQ&ab_channel=TheiaMarkerlessInc.

https://www.youtube.com/watch?v=sHbAYKVqOrc&ab_channel=TheiaMarkerlessInc.

https://www.youtube.com/playlist?list=PL2zRqk16wsdoCCLpou-dGo7QQNks1Ppzo

Theia Markerless Inc.

明天去學校確認 由一張相片校正出來的資訊和兩張相片校正出來的資訊是否相同來比對

目前所用的校正程式: https://learnopencv.com/camera-calibration-using-opencv/

需要更替程式用的補充程式:https://learnopencv.com/making-a-low-cost-stereo-camera-using-opencv/

推薦的學習網站:
1.https://learnopencv.com/author/kaustubh-sadekar/
2.https://www.ncbi.nlm.nih.gov/pmc/articles/PMC9105339/
3.https://cave.cs.columbia.edu/projects/categories?cid=Computational+Imaging

透過deep learning製作深度相機:https://learnopencv.com/disparity-estimation-using-deep-learning/

**<font color="#f00">2023/02/22</font>**

目前能在opencv的方法上畫出世界座標 -> 他算出來得參數是有意義的?

相機校正:
預測: https://docs.opencv.org/3.4/dc/dbb/tutorial_py_calibration.html
繪製世界座標:
https://docs.opencv.org/3.4/d7/d53/tutorial_py_pose.html

如何將圖像座標換算成世界座標的方法
1.https://www.twblogs.net/a/5ca83c19bd9eee59d3332465
2.https://www.gushiciku.cn/pl/gO4e/zh-tw
3.https://github.com/ethan-li-coding/StereoV3DCode

以及我認為可行性目前最高的我看得懂的方法
4.https://blog.csdn.net/Kalenee/article/details/99207102

換算的前提
需要兩個方位的攝影機同時錄影才能透過公式換算出深度
但作者說明透過這個方法得出的深度並不十分準確需要多次的計算來得出相對較精確的深度

http://140.120.32.208/3D%20Human%20Motion%20Reconstruction%20in%20Unity%20with%20Monocular%20Camera.pdf

2023/03/04
整理論文的網站: EndNote

mediapipe 官網: https://google.github.io/mediapipe/solutions/pose#resources
media github: https://github.com/google/mediapipe
mediapipe pose: https://youtu.be/06TE_U21FK4?t=324

jypyter 教學: https://medium.com/python4u/jupyter-notebook%E5%AE%8C%E6%95%B4%E4%BB%8B%E7%B4%B9%E5%8F%8A%E5%AE%89%E8%A3%9D%E8%AA%AA%E6%98%8E-b8fcadba15f

## 2023/04/14

## 2023/05/07

尋找的論文研討會: TVCG, CVPR ICCV
尋找內容: 資料可視化, 視覺分析

TVCG網站: https://www.computer.org/csdl/journal/tg/2023/06

要讀的兩篇馬框六論文:
1. https://arxiv.org/pdf/1904.12225.pdf
2. http://vis.cs.ucdavis.edu/papers/Contrastive_Learning.pdf

馬框六網站: http://vis.cs.ucdavis.edu/Publications/?y=2019

IEEE VisWeek papers on the web:
http://www.cad.zju.edu.cn/home/vagblog/vispapers.html

其他: https://kesen.realtimerendering.com/

https://www.finereport.com/tw/knowledge/acquire/datakeshihua.html