上篇中有提到手部捕捉的技術，我們把主體拓展至全身，來看看「動態捕捉」究竟是什麼吧！
## 何謂動態捕捉
**動作捕捉（Motion capture）**，簡稱動捕（Mocap），是指記錄並處理人或其他物體動作的技術。多個攝影機捕捉真實演員的動作後，將這些動作還原並渲染至相應的虛擬形象身上。這個過程的技術運用即動作捕捉，英文表述為Motion Capture。
###
### 組成動態捕捉的元素
動態捕捉是蒐集外界的資訊再傳輸到電腦裡進行演算的過程，所以可以把動態捕捉的分成三個部分，**接收(感應器)、傳輸與運算。**
由於每種捕捉方式的優缺與所需設備不盡相同讓我們分別展開來細講。
## 動態捕捉的分類
一般地按照技術原理可分為五大類：

1.機械式
2.聲學式
3.電磁式
4.慣性傳感器式
5.光學式
### 機械式
機械式動作捕捉依靠機械裝置來跟蹤和測量運動，裝置由多個關節和剛性連杆組成，在可轉動的關節中裝有角度感測器，根據角度感測器的資料和連杆的長度，可以得出裝置在空間的運動軌跡剛性連杆也可以換成長度可變的伸縮杆，用位移感測器測量長度變化。

(圖片來源：http://pubs.sciepub.com/ajme/1/7/12/index.html#Figure1)
#### 應用形式
第一種將欲捕捉的運動物體與機械結構相連，物體運動帶動機械裝置運動，從而被感測器記錄下來。另一種形式是用帶角度感測器的關節和連杆構成一個可調姿態的數位模型，其形狀可以類比人體，也可以類比其他動物、物體。而使用者根據劇情的需要，調整模型的姿勢，然後鎖定。關節的轉動被角度感測器測量記錄，依據這些角度和模型的機械尺寸，計算出模性的姿態。這些姿態數據傳給軟體，使其中的角色模型也做出一樣的姿勢。

這是一種較早出現的動作捕捉裝置，成本低、精度高、採樣的頻率也高，但最大的缺點是動作表演不方便，連桿式結構和傳感器線纜限制了表演者的動作，難以重現真實的動作還原。

### 聲學式
聲學式動作捕捉系統一般由發送裝置、接收系統和處理系統組成。

**發送裝置**一般是指超聲波發生器；**接收系統**一般由三個以上的超聲探頭陣列組成，通過測量聲波從一個發送裝置到傳感器的時間或者相位差，確定到接受傳感器的距離，由三個呈三角排列的接收傳感器得到的距離信息解算出超聲發生器到接收器的位置和方向。
(圖片來源:http://www.qi-see.com/xinwenzixun/gongsixinwen/5.html)

這類裝置成本較低，但捕捉上有較大延遲和滯後，及時性較差，精度大多不高，聲源和接收器間也不能有大型遮擋物體，受噪聲和多次反射等干擾較大。由於空氣中聲波的速度與氣壓、濕度、溫度有關，所以還必須在演算法中做出相應的補償。
### 電磁式
電磁式動作捕捉系統一般由發射源、接收傳感器和數據處理單元組成。

**發射源**在空間產生按一定時空規律分布的電磁場；**接收傳感器**安置在表演者身體的關鍵位置，隨著表演者的動作在電磁場中運動，接收傳感器將接收到的信號通過電纜或無線方式傳送給**處理單元**，根據這些信號可以解算出每個傳感器的空間位置和方向。
(圖片來源:https://www.semanticscholar.org/paper/Automatic-Joint-Parameter-Estimation-from-Magnetic-O%27Brien-Bodenheimer/27789898ee7b9f4e91ac44bef6e4e1cbdaf29b4b/figure/0)

這類優點在於它記錄的是六維信息，不僅**能得到空間位置，還能得到方向信息**，其次是**速度快，表演者表演時動畫系統中的角色模型可以同時反應**，便於排演、調整和修改，裝置的定標比較簡單，技術較成熟，成本相對低廉。

它的缺點在**於對環境要求嚴格**，在表演場地附近不能有金屬物品，否則會造成電磁場畸變，影響精度；系統的允許表演範圍比光學式要小，特別是**電纜對表演者的活動限制比較大**，對於比較劇烈的運動和表演則不適用。

### 慣性傳感器式
通過慣性導航感測器AHRS(航姿參考系統)、IMU(慣性測量單元)測量表演者運動加速度、方位、傾斜角等特性，不受環境干擾影響，不怕遮擋，捕捉精確度高，採樣速度高。由於採用高集成晶片、模組，體積小、尺寸小，重量輕，性價比高，慣導感測器佩戴在表演者頭上，或通過17個感測器組成數據服穿戴，通過USB線、藍牙、2.4Gzh DSSS無線等與主機相聯，分別可以跟蹤頭部、全身動作，實時顯示完整的動作。
(圖片來源:https://neuronmocap.com/)

它的缺點一方面是**傳感器本身不能進行空間絕對定位**，通過各部分肢體姿態信息進行積分運算得到的空間位置信息造成不同程度的積分漂移，使得空間定位不準確；另一方面原理本身基於單腳支撐和地面約束假設，系統**無法進行雙腳離地的運動定位解算**；此外，傳感器的自身重量以及線纜連接也會對動作表演形成一定的約束，並且設備成本隨捕捉對象數量的增加成倍增長，有些傳感器還會受周圍環境鐵磁體影響精度。

### 光學式
光學式動作捕捉系統基於計算機視覺原理，由多個高速相機從不同角度對目標特徵點的監視和跟蹤來完成運動捕捉的任務。理論上對於空間中的任意一個點，只要它能同時為兩部相機所見，就可以確定這一時刻該點在空間中的位置，當相機以足夠高的速率連續拍攝時，從圖像序列中就可以得到該點的運動軌跡。

這類系統采集傳感器通常都是光學相機，不同的是目標傳感器類型不一，**一種稱為無標記點式光學動作捕捉系統**，是在物體上不額外添加標記，基於二維圖像特征或三維形狀特征提取的關節信息作為探測目標；**另一種稱為標記點式光學動作捕捉**，是在物體上粘貼標記點作為目標傳感器。

#### 第一種：無標記式光學
（圖片來源：https://www.jendow.com.tw/wiki/%E5%85%89%E5%AD%B8%E5%BC%8F%E5%8B%95%E4%BD%9C%E6%8D%95%E6%8D%89）

捕捉原理大致有三種。

**（1）基於普通視頻圖像的運動捕捉**，通過二維圖像人形檢測提取關節點在二維圖像中的坐標，再根據多相機視覺三維測量計算關節的三維空間坐標。

由於普通圖像信息冗雜，這種計算通常魯棒性較差，速度很慢，實時性不好，且關節缺乏定量信息參照，計算誤差較大，這類技術目前多處於實驗室研究階段。

**（２）熱能式動作捕捉**，原理與第一種類似，只是經過熱光源照射後，圖像前景和背景分離使得人形檢測速度大幅提升，提升了三維重建的魯棒性和計算速率。

但熱源從固定方向照射，導致動作捕捉時人體運動方向受限，難以進行360度全方位的動作捕捉，例如轉身、俯仰等動作並不適用，且同樣無法突破因缺乏明確的關節參照信息導致計算誤差大的技術壁壘。

**（３）三維深度信息的運動捕捉**，系統基於結構光編碼投射實時獲取視場內物體的三維深度信息，根據三維形貌進行人形檢測，提取關節運動軌跡。

這類技術的代表產品是微軟公司的kinect傳感器，其動作識別魯棒性較好，采樣速率高，價格非常低廉，但因為kinect的應用定位是一款動作識別傳感器，而不是精確捕捉，同樣存在關節位置計算誤差大，層級骨骼運動累積變形等問題。

**總體來講，無標記點式動作捕捉普遍存在的問題是動作捕捉精度低，並且由於原理固有的局限導致運動自由度解算缺失（如骨骼的自旋信息等）造成動作變形等問題。**

#### 第二種：標記式光學
標記點式光學動作捕捉系統一般由光學標識點（Markers）、動作捕捉相機、信號傳輸設備以及數據處理工作站組成。在運動物體關鍵部位（如人體的關節處等）粘貼Marker點，多個動作捕捉相機從不同角度實時探測Marker點，數據實時傳輸至數據處理工作站，根據三角測量原理精確計算Marker點的空間坐標，再從生物運動學原理出發解算出骨骼的6自由度運動。

這里根據標記點發光技術不同還分為主動式和被動式光學動作捕捉系統：

**（1）主動式光學**
主動式光學動作捕捉系統的Marker點由LED組成，LED粘貼於人體各個主要關節部位，LED之間通過線纜連接，由綁在人體表面的電源裝置供電。
(圖片來源:http://www.qi-see.com/xinwenzixun/gongsixinwen/5.html)

優點：
- 采用高亮LED作為光學標識，可在一定程度上進行室外動作捕捉，LED受脈沖信號控制明暗，以此對LED進行時域編碼識別，識別魯棒性好，有較高的跟蹤準確率。

缺點：
- 因相機在同一個動作幀中分別針對每個Marker進行逐次曝光，破壞了動作捕捉的Markers檢測的同步性，導致運動變形，不利於快速動作的捕捉。

- 由於相機幀率很大部分用於單幀內對不同Marker點的識別，因此有效動作幀采樣率較低，這點上也不利於快速運動的捕捉和數據分析。

- LED Marker可視角度小(發射角120度左右)，一個捕捉鏡頭內部通常集成了兩個相機近距離采集，這種窄基線結構導致視覺三維測量精度較低，且在運動過程中由於動作遮擋等問題仍然不可避免地導致頻繁的數據缺失，需要成倍增加動作捕捉鏡頭的數量彌補遮擋盲區問題，設備成本也隨之成倍增加。
- 由於時序編碼的原理局限，系統可支持的Marker總數有嚴格限制，同時采集人數一般不宜超過2人，且Marker點數量越多，單幀逐點曝光時間越長，運動變形越嚴重。

**（2）被動式光學**
也稱反射式光學動作捕捉系統，其Marker點通常是一種高亮回歸式反光球，粘貼於人體各主要關節部位，由動作捕捉鏡頭上發出的LED照射光經反光球反射至動捕相機，進行Marker的檢測和空間定位。
(圖片來源:http://www.qi-see.com/xinwenzixun/gongsixinwen/5.html)

優點:
- 是技術成熟，精度高、采樣率高、動作捕捉準確，表演和使用靈活快捷

- Marker點可以很低成本地隨意增加和布置，適用範圍很廣

缺點：

- 對捕捉視場內的陽光敏感，陽光在地面形成的光斑可能被誤識別為Marker點，造成目標干擾，因此系統一般需要在室內環境下正常工作

- Marker點識別容易出錯，由於反光式Marker點沒有唯一對應的ID信息，在運動過程中出現遮擋等問題容易造成目標跟蹤出錯，導致運動捕捉現場實時動畫演示效果不好，動作容易錯位。(不過新一代的技術都植入了先進的智能捕捉技術，具有很強的Marker點自動識別和糾錯能力，很大程度上滿足了現場實時動畫演示的需要)

**總體來說光學式運動捕捉的優點是表演者活動範圍大，無電纜、機械裝置的限制，表演者可以自由地表演，使用很方便，且其其採樣速率較高，可以滿足多數高速運動測量的需要。但當需要添購Marker數量時，將會增加大量成本。**

(圖片來源：http://ir.nptu.edu.tw/retrieve/10754/467.pdf 表一)

## 動態捕捉的應用領域
### 動畫製作
(圖片來源：https://www.cbr.com/best-motion-capture-performances-of-all-time-ranked/#benedict-cumberbatch-made-a-dragon-real-in-the-hobbit)

電影或遊戲中需要進行CG製作時，動態捕捉可以大量節省製作時間，原本需要逐格調整的3D模型藉著使用動態捕捉的人去呈現其動作或表情，如同《阿凡達：水之道》中的表情捕捉，透過對演員表情資訊的蒐集，讓CG外型既生動自然又不失特色。

(圖片來源：https://youtu.be/zyq_LQrHpoo?si=JWtEiAiCCQ5YXYFN)

動態捕捉也不只能用在人類身上，捕捉真實動物的動作模式套用於虛構腳色上讓腳色們活靈活現。

### VR
(圖片來源：https://youtu.be/2WJh-6WFweE?si=cWnrw4fet0nzE4gi)

動態捕捉技術嵌入VR設備的硬體中，提升虛擬世界的沉浸感，捕捉裝置能快速反饋使用者的肢體資訊給系統，讓虛擬形象做出精準、快速且自然的動作，越精確的動態捕捉裝置能夠提供的體驗越多，從手勢到整個肢體，蹲下、擁抱、扭打等動作將提供VR開發時更多的思路與可能性。

### 機器人
(圖片來源：https://www.youtube.com/watch?app=desktop&v=ggLge1Rw2z4&ab_channel=ozzeuk)

機器人將環境的資訊傳送給控制者，控制者根據資訊做出各種動作，運動捕捉系統將動作捕捉下來，實時傳送給機器人使其完成同樣的動作。與傳統的遙控方式相比，這種系統可以實現更為直觀、細致、複雜、靈活而快速的動作控制，提高機器人應付複雜情況的能力，也使機器人的動作更為活潑、更接近人類的反應。
### 體育訓練
(圖片來源：https://www.cioreview.com/news/perception-neuron-extends-its-motion-capture-technology-for-sports-professionals-and-doctors-nid-9905-cid-107.html)

運動捕捉技術可以捕捉運動員的動作，便於進行量化分析，結合人體生理學、物理學原理，研究改進的方法，使體育訓練擺脫純粹的依靠經驗的狀態，進入理論化、數字化的時代。還可以把成績差的運動員的動作捕捉下來，將其與優秀運動員的動作進行對比分析，從而幫助其訓練。
### 虛擬實況主/虛擬偶像(Vtuber)
(圖片來源：https://youtu.be/2eHjC7daOWs?si=RcImy9v3S78buxbl 截圖)

當動態捕捉不再是遙不可及的技術，成本低精準度也不差的平民設備開始問世，Sony發表的新裝置mocopi標榜只需6顆手錶大小的感應器就能進行捕捉，相較於昂貴的實驗室用設備，這樣的產品使動態捕捉有了更多發展性，尤其是在自媒體興盛的現在，一種嶄新的職業逐漸走上檯面。

(圖片來源：https://youtu.be/NasyGUeNMTs?si=HTVeRHzRjFGrUk3U)

透過動態捕捉技術讓動畫角色活出自己的特色，絆愛(キズナアイ)以自稱是「人工智慧」的形象在Youtube上投稿影片，3D角色會隨著心情變化表情(臉部追蹤)，也能玩遊戲、唱歌、跳舞。

(圖片來源：https://www.youtube.com/watch?v=i2RSvnX2dtw&t=1973s&ab_channel=hololive%E3%83%9B%E3%83%AD%E3%83%A9%E3%82%A4%E3%83%96-VTuberGroup)

使用全身動態捕捉的即時性讓3D形象不再只是模型，而是一個外型可自由設定的「人」，能和朋友玩耍、和觀眾互動，演繹角色的過程因為肢體的微表情讓觀眾相信這些虛擬形象的存在，發展出藝人、偶像、歌手等擁有虛擬形象的職業。

(圖片來源：https://youtu.be/AAsRtnbDs-0?si=yoco0Ek1tgcg6UGW 截圖)

只要擁有精度高即時性強的捕捉裝置，使用虛擬形象的人與普通的藝人無異，可以上節目、唱跳動甚至開設個人live或露營。

(圖片來源：https://youtu.be/L8eqzqtFkTM?si=AZTpCKqdzzffOOnL 截圖)

(圖片來源：https://www.youtube.com/live/zkXvWvTX_BE?si=NUOoEfqZpENjaDSE 截圖)
#### Live2D
(圖片來源：https://docs.live2d.com/cubism-editor-manual/switch-viewer-setting/)

而手機就有內建的臉部追蹤系統，除了3D模型外也有另一個分野是「會動的2D圖片」稱為live2D，一樣是捕捉臉部表情去反映在臉孔的變化上，只需一台手機就能擁有會動的虛擬形象。

## 參考資料
- [A stereoscopic fibroscope for camera motion and 3D depth recovery during Minimally Invasive Surgery](https://web.archive.org/web/20220320023800/https://ieeexplore.ieee.org/document/5152698)
- [Motion Capture of Human for Interaction with Service Robot](http://pubs.sciepub.com/ajme/1/7/12/)
- [详解超逼真动作背后的技术——动作捕捉](https://www.eet-china.com/mp/a75218.html)
- [如果你想 hack 一套動態捕捉衣](https://haointeractive.medium.com/%E5%A6%82%E6%9E%9C%E4%BD%A0%E6%83%B3-hack-%E4%B8%80%E5%A5%97%E5%8B%95%E6%85%8B%E6%8D%95%E6%8D%89%E8%A1%A3-7423c6e925ab)
- [《阿凡達：水之道》特效是這樣做出來的！從水和生物的動畫製作到演員動態捕捉｜經典電影大解密｜GQ Taiwan](https://youtu.be/YkeSqzUPzYc?si=JQyQ9LAws9xRXP0a)
- [SOWT 分析光學式動作擷取系統發展趨勢](http://ir.nptu.edu.tw/retrieve/10754/467.pdf)
- [【全身動作捕捉系統】跟著 Vtuber 虛擬人 Mister Yaki 探索元宇宙！一窺背後精彩製作過程吧！！](https://www.axis3d.com/post/%E5%85%A8%E8%BA%AB%E5%8B%95%E4%BD%9C%E6%8D%95%E6%8D%89%E7%B3%BB%E7%B5%B1_%E8%B7%9F%E8%91%97vtuber%E8%99%9B%E6%93%AC%E4%BA%BAmister_yaki%E6%8E%A2%E7%B4%A2%E5%85%83%E5%AE%87%E5%AE%99%E4%B8%80%E7%AA%BA%E8%83%8C%E5%BE%8C%E7%B2%BE%E5%BD%A9%E8%A3%BD%E4%BD%9C%E9%81%8E%E7%A8%8B%E5%90%A7)