## 有關於面部表情變換中深度學習架構論文之比較 <br> <br> <br> 學生: 1071426曾資恒 1071549周皓 1073808劉世星 ---- ### 目錄 <br> <br> 1. GAN 2. StarGAN 3. GANimation 4. StarGAN-EgVA ---- ### Generative Adversarial Network (GAN)  ---- ## CycleGAN  ---- ## CycleGAN  ---- ##### StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation ---- ## StarGAN  ----  ----  ---- ## 架構重要貢獻 ---- * 結合CycleGAN在圖像臉部表情變換的優勢 * 學習多個 domain 之間的映射 * 一個**生成器** * 一個**鑑別器** * 在所有domain的人臉圖像轉換領域效果顯著 * 改進了CycleGAN(2個生成器和2個鑑別器),通過提供一種mask vector(one-hot encoder概念)使多個域的特徵轉化只需1個生成器和1個鑑別器 ---- * 優於模型的優勢 * 實現面部屬性轉移 * 實現面部表情合成  ---- #### Mask Vector **$\bar{c} = [c_1,...,c_n,m]$** * $n$ ---> 第n的數據集。 * Ex:有三個數據集CelebA、RaFD、AffectNet故n有1~3。 * $c_n$ ---> 二進制屬性的 ++[one-hot](https://zh.wikipedia.org/wiki/One-hot)++ 向量,用於分類屬性。 * $m$ ---> n-Dimension one-hot vector，用於訓練與測試時domain的轉換。 ---- * Mask Vector * 實現多個數據集之間的多重domain圖像轉換 * 開心 ---> 生氣 * 生氣 ---> 開心 * 使StarGAN能夠控制所有**訓練過的domain標籤** ---- ## Architecture  ---- ## Architecture  ---- ##### Result for style  ---- ##### Result for emotion  * StarGAN-JNT(CelebA、RaFD) ---> 利用兩個數據集來改善共享的細節，提升較高對臉部細節的處理 * StarGAN-SNG(RaFD) --->背景較模糊，表情線條不細緻 note: * StarGAN-JNT(CelebA、RaFD) ---> 表現出具有較高視覺質量的情感表達，可以利用這兩個數據集來改善共享的細節程序，例如 面部關鍵點檢測和分割。 * StarGAN-SNG(RaFD) ---> 生成具有灰色背景的合理但模糊的圖像。 ---- ## Generator ----  ---- ## Discriminator ----  ---- ##### 結果  ----  ----  ---- ## GANimation  ----  ----  * 克服表情只能從離散 one-hot vector決定 * 產生continuous表情變化向量(Action Units)提升訓練精細度 ---- Action units (AUs) ---  ##### Surprised (驚訝)--->AU 1,2,5組成表情向量 ##### Happily Surprised(非常驚訝)--->AU 1,2,5,25組成表情向量 ---- ## Action units (AUs)  * **FACS(Facial Action Coding System)** 將常見情緒以臉部肌肉分類進而把表情分成46種action units (AU1-AU46) ---- ## Architecture  * conditionalGAN * 2個生成器 * 1個判別器 ----  ----  note: yg->要混合的AU目標表情(想要生成的表情向量) Iyr->原始輸入圖片 Iyg->第一個生成圖片 yr->Iyr的表情向量 GA->attention mask A(關注人脸 忽略背景) GC->color mask C(變化後人臉的目標顏色) ---- ## Architecture  * 臉部肌肉向量levels of intensity (向量長度為N,臉部分為N個不同區域,以0-1表示運動程度)  ---- ## Attention-based generator  note: GA->attention mask A(關注人脸 忽略背景) GC->color mask C(變化後人臉的目標顏色) ---- ## Experimental Evaluation  注意力掩膜（attention mask）關注在人臉區域的表情變化 note:可以避免對人臉以外背景區域的修改，就可以很好地適應直接在圖像中對表情修改，不需要其他的後處理 ---- ## StarGAN-EgVA: Emotion Guided Continuous Affect Synthesis 十月 12, 2020 ---- ## 架構重要貢獻 改善AUs continuous情緒表情仍有的缺陷 * unconstrained conditions中涉及過多人為主觀因素 * 臉部肌肉的標記---> * 需要生物醫學相關專業幫忙標記辨認 ---> 專業度太高 * 嘴唇動態偵測效率低 ---> 無法準確納入情緒狀態衡量標準 ---- ## 嘴唇動態偵測  ---- ##### two-dimensional Valence Arousal (VA) plane  單獨以 Valence Arousal (VA intensities) 訓練也有缺點 note: * 相較於單一情緒標籤,訓練過程中會過度敏感失準 * 在VA象限上無法表達兩種情緒在訓練上的實際轉換落差 * 在生氣,噁心2種情緒因為在VA象限中會重疊->失去準確度->無法判斷生氣噁心 2種情緒在訓練後情緒狀態 * 在同一組訓練集中->訓練結果並不唯一且落差大->沒有客觀標準 ----