---
tags: CV期末專題
---
# 人臉圖片轉換

- 專題名稱：Rainbow App
- 專題理念：如同彩虹有多種顏色，我們期許可以將使用者的圖片變幻成多種風格
- 基本功能：
- Task1. 風格轉換
上課講的風格
但是可以轉換成動漫或卡通嗎？
- Task2. 放貼紙上去（預設的：狗耳朵、幫人化妝、水汪汪大眼睛....）
- Task3. [變男變女](https://chtseng.wordpress.com/2020/07/31/%E4%BD%BF%E7%94%A8cyclegan%E8%A3%BD%E4%BD%9C%E8%BD%89%E7%94%B7%E8%BD%89%E5%A5%B3%E7%9A%84ap/)
除了用CycleGan還有其他技術嗎？
- Task4. 變老變年輕
也是用CycleGan嗎？ 資料集要是成對嗎？
- 進階功能（心有餘力做的功能）：
- 1. 放貼紙上去 （自己input的圖片）
- 2. 兩張圖片的臉交換
- 3. 人的表情變化（笑臉變哭臉）

- 會使用的技術：
- 風格轉換：style transfer learning
- 變男變女：CycleGan
- 人臉辨識：Semantic Segmentation（臉的輪廓）、object detection（五官的位子）

- 會遇到的困難：
- label需要花時間 >>> 收集網路上現成圖片
- 資料難收集，人臉大小跟狗臉大小都不一，不知道怎麼組合起來，可能會歪掉製造一堆畸形兒><
- To do:
- 1. 風格轉換：人臉+風格 (A)
- 2. 先survy snow這個東西怎麼做(放圖片上去、化妝) (E)

- 收集：
- 1. 風格圖片（ＨＷ）
- 2. 人臉圖片＋有五官的標籤 ->先上網找找看
- 3. 狗耳、眼鏡....的透明底圖片（png）

# Task1:風格轉換
## 人臉風格化數據集
- 1.CUFSF:http://mmlab.ie.cuhk.edu.hk/archive/cufsf/
發佈於2009年，這是一個人像素描數據集，原圖來自於FERET，有1195張成對的灰色正面肖像圖和對應的素描圖。發佈於2009年，這是一個人像素描數據集，原圖來自於FERET，有1195張成對的灰色正面肖像圖和對應的素描圖。
- 2.IIIT-CFW1.0:http://cvlab.cse.msu.edu/siw-spoof-in-the-wild-database.html
發佈於2016年，包含100個名人的8928張卡通圖片，同時也附帶了1000張真實圖
- 3.CartoonSet10/100k:https://google.github.io/cartoonset/download.html
發佈於2017年，有兩個子集，CartoonSet10k和CartoonSet100k，分別包含10000和100000張卡通人臉圖。每一張卡通人臉圖都有16個組件，其中12個面部屬性和4個顏色屬性。
所有的元素及其變種都是由同一個藝術家Shiraz Fuman繪製而成，最終得到約250個卡通藝術元素，可以組合成約108種樣式。所有的藝術元素都是採用順序分層的方式方便進行渲染，比如臉型需要依賴於眼睛和眼睛，而髮型比較複雜有兩個元素，一個在人臉上一層，一個在人臉下一層，總共有8層，頭髮背景、人臉、頭髮前景、眼睛、眼睫毛、嘴巴、面部頭髮、眼鏡。
- 4.self2anime:https://github.com/taki0112/UGATIT
發佈於2019年，這是一個漫畫人臉數據集，首先使用漫畫人臉檢測算法對Anime-Planet1上的圖片進行了檢測，最後留下了女性的人臉圖共3500張，其中3400張作為訓練，100張作為測試。

# Task2:放貼紙上去
## 資料集介紹
- [下面的連結](https://blog.csdn.net/u012505617/article/details/97936310)
1. [數據集介紹鏈接|300W共600張圖片|300室內，300室外|68關鍵點](https://ibug.doc.ic.ac.uk/resources/300-W/)
發佈於2013年，包含了300張室內圖和300張室外圖，其中數據集內部的表情，光照條件，姿態，遮擋，臉部大小變化非常大，因為是通過Google搜索“party”, “conference”等較難等場景蒐集而來。該數據集標註了68個關鍵點，一定程度上在這個數據集能取得好結果的，在其他數據集也能取得好結果。
300-W challenge是非常有名的用於評測關鍵點檢測算法的基準，在ICCV 2013舉辦了第一次人臉關鍵點定位競賽。 300-W challenge所使用的訓練數據集實際上並不是一個全新的數據集，它是採用了半監督的標註工具，將AFLW，AFW，Helen，IBUG，LFPW，FRGC-V2，XM2VTS等數據集進行了統一標註然後得到的，關鍵信息是68個點。
在ICCV2015年拓展成了視頻標註，即300 Videos in the Wild (300-VW)，數據集地址是 https://ibug.doc.ic.ac.uk/resources/300-VW/， 感興趣讀者可以關注。
2. [XM2VTS|2360張正面圖|68關鍵點](http://www.ee.surrey.ac.uk/CVSSP/xm2vtsdb/)
包含295個人，2360張正面圖，標註了68個關鍵點，大部分的圖像是無表情，而且在同樣的光照環境下。
樓上連結沒提供怎麼使用，我換一個 https://blog.csdn.net/CVSvsvsvsvs/article/details/90413626
3. [LFPW1432張圖片|29關鍵點](https://neerajkumar.org/projects/face-parts/)
4. [HELEN2000張訓練集|330張測試集](http://www.ifp.illinois.edu/~vuongle2/helen/)
怎麼用我參考這一篇
https://blog.csdn.net/CVSvsvsvsvs/ar
5. [IBUG|135張圖片](https://ibug.doc.ic.ac.uk/resources/facial-point-annotations/)
6. AFLW|20000張訓練|4386張測試
7. FRGC V2|50000張訓練|4003張測試
8. [WFLW7|500張訓練|2500張測試|98關鍵點](https://wywu.github.io/projects/LAB/WFLW.html)

- 備註
1. 68 關鍵點數據集
因為不同的數據集標註的關鍵點個數不一樣，所以300W挑戰賽對上面的部分數據集重新標註為68個landmarks。300W, AFW, HELEN, LFPW, IBUG這個幾個數據集重新標註， 裡麵包含圖片和關鍵點標註文件。下載地址為：https://ibug.doc.ic.ac.uk/resources/facial-point-annotations/。
XM2VTS, FRGC V2 數據集的關鍵點也被重新標記，關鍵點坐標文件也在這個鏈接裡面，但是圖片得另外下載，貌似得註冊申請才能拿到這兩個數據集的圖片。
2. 98關鍵點數據集
98關鍵點數據集直接下載WFLW數據集就好，這是由商湯提供的。裡面除了關鍵點外，還對姿態、表情、照度、化妝、遮擋、模糊等信息進行標註。
3. 數據集比較:https://blog.csdn.net/hacker_long/article/details/106536402

## 資料集預處理方法

1. [csdn:一种人脸68特征点检测的深度学习方法](https://blog.csdn.net/sinat_28731575/article/details/80723743?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-5.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-5.channel_param)
2. [csdn:人脸关键点数据集 300W 数据整理](https://blog.csdn.net/u011385476/article/details/105641591?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param)

## 探索技術

1. [深度学习人脸关键点检测方法----综述](https://blog.csdn.net/u011995719/article/details/78890333)

## Question
- 1.有沒有推薦的資料集？資料集的使用方法
- 2.有沒有相關的github可以參考？