# PFStorer: Personalized Face Restoration and Super-Resolution ### Motivation 臉部修復的技術近期已達到非常卓越的成果，能夠生成高品質且栩栩如生的圖像。然而因為模型缺乏先知條件因此這些修復後的圖像通常無法保留這個人原本的身份個性等等。在這篇論文中，作者們使用了擴散模型進行個人化的面部修復，通過使用少量身份參考圖像，修復模型讓生成出來的照片能夠基於人物原始的神情個性。 ## Introduction 人臉修復是一種退化觀察，包含在模糊 低解析度 噪聲或者是照片壓縮失真的情況下恢復高品質的人物影像。但相比一些自然影像，但我們對於人臉修復的細微差異會比較敏感，因為只要眼睛，鼻子，嘴唇等等部位的大小或角度有點輕微的變化，都容易讓照片中的人類看起來不像原本的人，失去它原本的身分。當我們對於照片中的人物身分有一定的熟悉，便更容易發現這些差異，因此人臉修復不僅僅需要輸出真實可用的影像，也需要忠於原始人物的身分。 在目前人臉修復的研究有許多顯著的進步，包含GAN, codebooks, diffusion models都能高質量的生成圖片，這些方法在進行修復的任務前，透過生成進行訓練，因次可以生成出逼真的人臉影像。但這些方法的輸出很容易缺乏身分的真實性因為模型本身缺發上下文。因此為了解決這個問題有一些研究加入了一些參考，使用高品質的參考影像以提升身分的確實度，但因為低品質待修復的圖片中人物的姿勢或是光照等等的外部因素的影響下，如何將參考影像中的身分有效的轉移也是一大挑戰。 作者PFStorer（Personalized Face Restorer）的方法，就是在修復模型中進行調整，在修復低品質人臉影像時，保留他的身分特徵，用3-5高品質的參考圖像調整修復模型使他保有身分特徵。 ## Related Work ### Reference-Based Face Restoration 基於參考的面部修復 例如，GFRNet 使用單一參考圖像，學習低品質與參考圖像之間的形變；ASFFNet則選擇最相似的參考圖像以減少錯位，並使用自適應特徵融合進行修復；DMDNet 通過關鍵區域（如眼睛、鼻子、嘴巴）構建深度特徵字典，並利用對齊模塊將輸入圖像與參考圖像的特徵對齊，最終融合特徵至輸出影像。然而，這些方法在參考圖像與低品質輸入未對齊或不夠相似時表現欠佳。相比之下，我們的方法學習了一種身份的神經表示，使修復更具魯棒性。 ## Method ## Experiments ### 背景: 從 Celeb-Ref 資料集中選取了一個小型子集進行評估。在合成數據評估中，隨機選擇了 20 個至少包含 10 張影像的身份，共計 342 張影像。對於每個身份，我們保留 5 張影像用於personalization，剩餘 242 張影像用於測試。在真實圖片的部分隨機選擇了celeb-Ref的20個身分，從網路上收集每個身分的一張圖片這些圖片主要是用來模擬真實應用中的場景，因此包含距離較遠，失焦，曝光不足等條件不佳的情況。 為了評估方法的有效，對真實世界中的低品質圖片，重度和輕度退化圖片上的視覺效果，對於真實場景提供了一個pseudo_GT做為參考，以便比較身分的一致性。 ### Baselines Model CodeFormer ：目前最先進的人臉修復技術。 DR2 :基於擴散模型，專為處理極端退化設計。我們使用了提供的 SPAR 增強器，並實驗得出最佳超參數。 DMDNet ：基於參考影像的人臉修復中最先進方法，我們使用5張參考影像進行測試。 ### Evaluation Metrics 評估指標 PSNR, SSIM, LPIPS, MUSIQ (KonIQ), LMSE (Landmark MSE), ID PSNR（峰值信噪比） SSIM（結構相似性） LPIPS（感知圖像質量指標） MUSIQ（基於多尺度的影像質量變換指標） LMSE（基於人臉標記的均方誤差） ID（與ArcFace的餘弦相似度） ## Conclusion ### Limit 生成的結果對給定的reference過度依賴，因此如果參考影像與輸入的LQ在外外觀上差異過大，結果可能不符合期望。這是因為這個模型基於 Stable Diffusion，因此繼承了該模型的某些限制，例如採樣速度較慢，以及由於隨機性可能導致的偶發性的瑕疵。 ### Conclusion Personalization for the task of face restoration Use personalization adapter to preserves existing priors of the base restoration model. 在這個研究中，作者將個性化引入到人臉修復的工作中，利用少量的人物影像對影像修復模型進行個性化。作者指出人臉修復是一個ill-posed problem，需要引入個性化prior以實現更接近真實的結果。因此，他們提出了一種personalization adapter，保留修復模型的先驗知識。同時，我們設計了一種生成正則化器來提升訓練效果。我們通過定性分析、定量比較以及用戶比較去展示了這個方法的能力。