introduction 這篇paper認為contrastive loss會隱含ethical risks也就是在學習的過程中會學習到sensitive attribute information, 像是種族、性別、年齡等就是常見的sensitive attribute, 這些attribute會導致model藉由它們來predict labels, 而不是用正確的target attribute來判斷, 進而產生bias 再來就是demographic groups之間的data imbalance, 也會在training的過程中導致model產生bias 所以作者提出Fair Supervised Contrastive Loss(FSCL) 這個方法可以對於representation當中的sensitive attribute資訊做penalize, 以達到提升fairness的目標 再來就是作者提出group-wise normalization, 藉由對每個demographic groups做normalization可以解決剛剛提到的data imbalance的問題 related work

[toc] introduction 為什麼會開始這個project呢? 現在的人臉辨識普遍都是用RGB圖片來做training以及testing, 漸漸有一些RGB-D(depth)等額外的資源來增加判斷能力 而我的教授認為RGB再加上IR(infrared 紅外線)圖片可能會是未來的趨勢, 但現有的IR dataset很少, 都還是以RGB dataset為主 所以他認為如果能有一個能把RGB人臉轉成IR人臉的model, 就能自己生成IR dataset, 不用額外去找RGB-IR pair的dataset 最後我跟採用pix2pix以及cycleGAN這兩個知名的model來進行training pix2pix

先用浩榮的那份medium(https://medium.com/@pydoni/how-to-install-cuda-11-4-cudnn-8-2-opencv-4-5-on-ubuntu-20-04-65c4aa415a7b) 執行前面就好, 把東西先刪光 再跟著執行 https://medium.com/@anarmammadli/how-to-install-cuda-10-2-cudnn-7-6-5-and-samples-on-ubuntu-18-04-2493124478ca 執行到nvidia-smi會不成功 執行1., 2., 4.

[toc] introduction 這篇paper最主要的目的是improve fairness, 而在fairness這個領域, 之前的研究通常是針對standard deviation這個metrics, 而作者是focus在false positive rate, 而且是instance false positive rate, 也就是只針對一個batch當中的samples去算false positive rate 作者的作法是將FPR加入到softmax loss function中 第二個特點是instance FPR不需要demographic annotations, 因為只計算一個batch當中的FPR, 就不會受到demographic annotations的限制 剛剛有提到作者將FPR加入softmax loss function中, 而現在face recognition的SOTA method像是ArcFace, CosFace, SphereFace所使用的loss function都是softmax-based loss function, 所以作者的方法可以很容易針對SOTA method做修改

[toc] introduction 選擇這篇paper的原因是我已經label完data了, 要開始建立dataset了, 所以希望可以從dataset就能先初步減少demographic bias 等一下related work也會提到其他從model的設計上或是用sampling strategy來減少demographic bias 這篇paper主要是做實驗來分析不同的data distribution對於performance跟bias會有怎麼樣的影響, 因為都是以實驗為主, 所以就沒有method的部分 如同剛剛所說, 這篇paper是要來探討data distribution對於performance跟bias的影響 作者用實驗來推翻以往的想法: 如果要減少racial bias, 就必須使用balanced dataset

[toc] introduction 這篇paper是由美國密西根州立大學所提出, 發表在CVPR 2021 這篇paper的目的在於減少model對於某個種族或多個種族所產生的bias, 並對於每個demographic group都成產生良好的representation 作者提出了adaptive layer, 包含adaptive convolution kernels以及channel-wise attention maps, 並且可以針對每個demographic group都有其對應獨立的kernel跟map 接著上面提到的adaptation機制會由某個算法讓model可以自動選擇哪一層要加上adaptive layer, 哪一層不用加上額外的資訊並保持傳統的convolution layer就好 圖中N就是non-adaptive layer, A就是adaptive layer

[toc] introduction 這篇paper在RFIW(Recognizing Families in The Wild) 2021 獲得了很好的成績 由中國的兩所大學以及Baidu Research團隊所提出 發表在FG 2021 首先介紹RFIW這個challeng所使用的dataset: FIW(Families in The Wild)

Deadline: 2022/2/10(四) Problem A: Line Fitting Download two csv files pA1.csv and pA2.csv using: wget -nc 140.114.77.236:8000/pA1.csv wget -nc 140.114.77.236:8000/pA2.csv You are asked to find the curve that fits the data using Stochastic Gradient Descent with a deep learning framework (PyTorch, Keras, etc). A1, A2 should be written in one Colab Notebook.

[toc] Introduction 作者提出GroupFace這個想法的動機是因為近年來face recognition領域比較多專注在loss function的進步, 像是center loss, CosFace, ArcFace等等 但它們的backbone都是採用VGG, ResNet等network來獲得embedding feature 但並沒有一個對face專門設計的network GroupFace的作法是採用傳統的embedding feature方式加上分組的概念 分組可以縮小identity的候選人範圍, 同時加上傳統embedding feature的概念 在recognition過程中就可以有更豐富的representation

[toc] Introduction FACEGAN這篇paper的目的在於將driving image的臉部表情以及頭部的方向角度轉移到source image的identity上 也就是產生的圖片要看起來是source image的那個人, 但表情跟頭部的角度方向要跟driving image一樣 FACEGAN的作法是利用source face的landmark並且將driving face的motion包含進來 driving face的motion是用action units來extract出來, 包含臉部肌肉變化以及頭部的方向角度 這樣的做法在source face跟driving face的臉部架構很不相同時一樣能產生high quality的output image 為了可以讓output image的背景更真實, FACEGAN還將臉部區域以及背景分開處理, 不像現有的方法會為了產生臉部表情而將背景扭曲或是過度模糊