# MAKE UP ***Last Edited: 05 March 2020*** ---- ### Overview In this report, we're trying to evaluate 3 different types of makeup for a RBG image. - [Face Makeup](https://github.com/zllrunning/face-makeup.PyTorch?fbclid=IwAR2H5PxJNevwsUWkOgzDcvdcMR07GCtpdcbnKHUuooI_SaCTGNWUnKbsYVU) - [Beauty GAN](https://github.com/Honlan/BeautyGAN) - [Local Adversarial Disentangling Network for Facial Makeup and De-Makeup](https://github.com/wangguanzhi/LADN) ### 1. Face Makeup *Summary*: + Segmentation components of face (BiSeNet): lip, hair, nose, etc. + Change color of each components ![Example 1 of Face Makeup](https://i.imgur.com/YYVIMbk.jpg) ![](https://i.imgur.com/yqAck3X.jpg) *Result*: - Hiện tại chỉ parsing được segmentation của ảnh vuông - Khá chán *Comment*: - **Độ chính xác của segmentation** còn chưa tốt (Có thể nhìn thấy bằng mắt thường) (VD: Môi, tóc) - Mức độ đa dạng kém - Vẫn có thể dùng được để tạo dataset, tuy nhiên kết quả nhìn còn xấu, **không chân thực** ### 2. BeautyGAN *Summary*: - TransferGAN: Transfer to target makeup style. - Lossfunction gồm **lips, eyes & shadows** *Result*: - Hiện tại kích thước input là 256x256 - Infer time: ~ 0.01s/ ảnh ![](https://i.imgur.com/wUcFfGL.png) ![](https://i.imgur.com/Ju2YzOk.jpg) *Ảnh gốc* ![](https://i.imgur.com/xhg0TdB.png) *Hình ảnh result và target* ![](https://i.imgur.com/xy2CT1b.png) ![](https://i.imgur.com/2Sd0LOG.png) ![](https://i.imgur.com/eSdyMqt.png) ![](https://i.imgur.com/wAFZckh.png) ![](https://i.imgur.com/KjTESvG.png) ![](https://i.imgur.com/UPVUPWH.png) *Comment*: - Kết quả nhìn **chân thực** - Infer time ~ 0.001s/ảnh0 -> Khá nhanh - *Màu da + background* của ảnh gốc *bị thay đổi* - Tốt trên lip, eyes shadows, skin nhưng **không trang điểm được cheek** - Cần ảnh target ### 3. LADN *Summary*: - ? *Result*: - Cần tạo file landmarks cho các ảnh input trước (và ảnh target) (Provided API to extract landmarks) - * Mô hình cồng kềnh (Có cả Demakeup, etc) *kết qủa dùng dataset của mình* ![](https://i.imgur.com/ad41Ajk.jpg) *kết quả nếu dùng dataset của author* ![](https://i.imgur.com/C5NPGOB.jpg) *ví dụ về landmark extract* ![](https://i.imgur.com/FnJ8aDO.png) *Comment*: - Kết quả nhìn bị lem (chưa thể chạy đẹp trên ảnh của mình -_-), dù kq của author nhìn rất thuyết phuc. - Model lớn (provided light model ~ 12GiB), là model lớn nhất trong 3 cái (extreme model chưa chạy được trên dalat, CUDA out of mem) - Cần thêm thời gian để phân tách các phần của model, do author viết demakeup, makeup, transfer makeup... hơi rối. --- # Conclusion Model tốt nhất hiện tại em đề xuất nên dùng là [**BeautyGAN**](https://github.com/Honlan/BeautyGAN) để tạo dataset makeup nhanh, chân thực (Tuy nhiên, cần chọn trước target makeup source)