# EVM 之技術探討

- [name=作者：Ray Hsu, Jeff Liao]
- [time=Thu, Feb 19, 2021 14:22]

## 目錄

[TOC]

## 主要貢獻
- 藉由 Eulerian spatio-temiporal 處理之標準單眼影像集，可觀察到原先肉眼觀察步道之變化。對於原本影像中較大之動作，無須進行放大過程。
- 分析 Temporal filter 和空間的動作，呈現作者結果較佳。
- 作者使用單一個架構，以放大空間動作與單純的時間變化，例如：心跳等，且可以針對調整頻率以對應各細微動作頻率執行放大，包含不能用 Lagrangian 方法放大之動作。
- 比較 Eulerian 和 Lagrangian 之動作放大

## 架構簡介
1) 拆解影片序列到一個不同的空間頻帶，並套用相同的 Temporal filter 到各個頻帶。
2) 這些經處理後之頻帶，將會乘上放大參數 **α**。
3) 各個放大後之頻帶與原先處理後之頻帶將加，一同還原為原始大小之影像。

## 重要原理說明
### [1] Space-time 影片處理
- ++Spatial processing++
將影像依不同的空間頻帶拆解，會被放大成不一之影像，原因如下：
1) 可能展現不同的信噪比
2) 將含括**空間頻率**(在使用動作放大之線性估測無法得到固定值)
- ++Temporal processing++
使用 Temporal processing 在每一個空間頻帶，作者認為時間序列和在頻帶中像素的值一致，而使用帶通濾波器以擷取有興趣之頻帶。

### [2] Eulerian 動作放大
EVM能放大細微的動作
1) ++一階動作++
本篇論文作者認為如果要在時域空間下處理動作放大，而先假設I(x, t)為在某個時間下的某個位置上的向素值，
但是此δ(t)並不會放大波形，只會使訊號向右移，而如果加上他們所研究的時域濾波器B(x,t)=δ(t)∂f(x)/∂χ使式子變為

那此時如果**α**的倍率超過一定數值後，將可以觀察到波形的放大變化。

4) ++邊界條件++
以下條件式用來設定 spatial filter 之 **α** 和 λc

## 實驗步驟、過程與結論
### 步驟
1) 挑選一個時間帶通濾波器，並設定適當截止頻率 (ωl 和 ωh)
2) 挑選放大參數 **α**
3) 挑選空間頻帶 (λc)
4) 挑選一個衰減值給 **α** (0~**α**)

### 過程
- **濾波器**選取：
- ++動作放大++：使用 **broad passband**
- ++顏色放大++：使用 **narrow passband**，產生較少的雜訊。作者使用 **ideal bandpass filter**，因為擁有窄的頻率通帶
- ++動作與顏色放大皆可++：使用 **Lower-order IIR filter** 可套用在此兩個情境。作者則是使用兩個 first-order lowpass IIR filter，且設定截止頻率 ωl 和 ωh
- **放大參數 α**和**空間頻帶**選取：
- 可選擇較大 **α**，以超越邊界得到特定動作或顏色改變，但代價是產生噪點和產生更多的人造物。

### 結論
- **人類脈搏顏色放大**：在作者強調低空間頻率改變之處，他們強制設定 **α**=0 給空間的波長低於 λc
- **動作放大**：作者選擇線性斜坡函數設定 **α**

### 實驗結果
- ++顏色放大(兩位不同膚色的成人與嬰兒)++：
1) 成人：
- 使用 ideal bandpass，設定界在 0.83Hz ~ 1Hz
- 設 **α** 約莫 100、λc 約莫 1000，當使用 spatially lowpass 訊號，以強調顏色變化
- 成人皆能放大顏色變化，當血液流經受試者的臉
- 兩位成人皆使用 Laplacian pyramid 且設定 **α** 給最佳的兩個程度至0
- 作者下採樣與使用 spatial lowpass filter，以同時減少量化與噪點，和以增進他們所需更微妙的脈搏訊號
2) 嬰兒：
- 擷取心跳，驗證顏色改變是否通用
- ++動作放大 (臉、手腕、相機、吉他、嬰兒、地鐵和影子等)++：
- 皆使用 Laplacian Pyramid 於 spatial filter
1) sim4、吉他：
- 需特定設定頻率區段於 temporal frequency (ideal bandpass filter)，以得到我們想要的頻率放大
2) 臉：
- 使用 Temporal filter ，並搭配較廣的頻帶。在實驗中，使用 Second-order IIR filter，且選用 **α**=20、λc=80去放大
3) 相機：
- sample rate 設定 300Hz，當相機拍攝一張長達1秒的曝光照片

## 存在問題
1) 當 spatial filter 設定不足，將無法呈現我們所需的結果
2) Eulerian 方法較適合更光滑的結構與微小放大；Lagrangian 方法
3) Eulerian error 與 Lagrangian error 對 Temporal characteristic 的噪點呈現一樣的敏感度

## 實驗頻率擷取與方法

## 名詞解釋
- ++Spatial characterization++
分析單一個影像，包括座標、亮度值、影像梯度與像素等。
- ++Temporal characterization++
分析一系列不同時間之影像，包括影像間之差值等。
- ++[Signal-to-noise ration (訊噪比)](https://zh.wikipedia.org/wiki/%E4%BF%A1%E5%99%AA%E6%AF%94)++
為科學和工程中所用的一種度量，用於比較所需訊號的強度與背景雜訊的強度。
- ++[Bandpass filter (帶通濾波器)](https://zh.wikipedia.org/wiki/%E5%B8%A6%E9%80%9A%E6%BB%A4%E6%B3%A2%E5%99%A8)++
在頻帶較低的截止頻率fL和較高的截止頻率fH之間是共振頻率，這裡濾波器的插入損失最小，濾波器的帶寬就是fL和fH之間的差值。