GLAZE: Protecting Artists from Style Mimicry by Text-to-Image Models

link : this

review

Text-to-image by diffusion model

1. Introduction

大概是在說新的模型（StableDiffusion, MidJourney) 用了很大的資料集（LAION-5B, 5B 的圖片），這個資料集中有很多的版權圖片之類的…影響了智財權之類的，下面這句話就是說這個 Glaze 會給圖片一些擾動(?

Galze works by taking a piece of artwork, and computing a minmal perturbation.

2. Background: AI Art and Style Mimicry

背景知識.jpg

3. 對藝術家的調查…之類的

跟模型本身無關，跳過

4. Preliminaries

4.1 Threat Model

假設使用的情境：

• 藝術家：少量的計算資源，不希望自己的作品被模仿，使用 Glaze 去加入一些擾動
• 模仿者：大量計算資源，擁有很大的資料集及訓練好的模型參數

4.2 Potenetial Alternatives and Challenges

先給了幾篇關於防禦未經授權的面部辨識的 prior works

Face-off: Adversarial face obfuscation.
arXiv: 2003.08861

Leveragin adversarial attacks to protect social media users from facial recognnition
arXiv: 2101.07922

Foggysight: A scheme for facial lookup privacy.
arXiv: 2012.08588

Fawkes: Protecting privacy against unauthorized deep learning models.
arXiv: 2002.08327

以上幾篇提出了 "image cloaking" 做為保護圖像的方式，通過對圖像產生擾動，讓圖像在特徵空間的表現跟原圖不同，但是以上的方式有好的成效是因為人臉識別分類模型所需的特徵主要是身分相關的，由於文本轉圖片模型是要從提取的特徵重建圖像，特徵空間會保留更多關於原始圖片的資訊（對象，位置，顏色，風格），因此要對其特徵空間進行擾動是更不容易的。

接下來又提出了一篇較近的研究 photoGuard，不過我沒看，大概是在藉由減少圖的資訊(e.g. norm of feature vector)，防止編輯圖像，但是對於模仿圖像是沒什麼作用。

現有的擾動方式幾乎都是去干擾圖像的所有資訊，如果可以只針對藝術家的風格進行擾動，對模型的干擾應該會比較有效，但是辨識並分離圖像與藝術家風格很難，即使用可解釋性的模型去解釋特徵空間，也沒有明確的方式去定義藝術家風格。

5. Disrupting Style Mimicry with Glaze

5.1 Design Intuition

正式介紹 Glaze，由於很難去定義藝術家的風格，作者利用了 Style Transfer 的技術去將原本的圖像風格進行轉換，並用轉換後的圖像作為樣本，使用 Style Transfer 後的藝術品作為投影目標來指導擾動的計算，讓原圖的特徵表現與 Style Transfer 的圖相似，由於兩張圖的內容本來是相同的，所以可以讓擾動集中在藝術家的風格上。

疑問1： Style Transfer 後的成品內容與原圖差很多，是用什麼方式去擾動，後面應該會有解釋

疑問2：如何確認特徵向量的改變專注於藝術家的風格

5.2 Computing Style Cloaks

$$\begin{gathered} \underset{{\delta }_x}{min}Dist(\mathrm{\Phi }(x+{\delta }_x),\mathrm{\Phi }(\mathrm{\Omega }(x,T)), \\ \text{subject to}|{\delta }_x|<p \end{gathered}$$

• $\mathrm{\Phi }$ : 一般的特徵提取
• $T$ : 想 Transfer 的風格
• $\mathrm{\Omega }$ : Style Transfer 的特徵提取

5.3 Detialed System Design

$$\underset{{\delta }_x}{min}||\mathrm{\Phi }(x+{\delta }_x),\mathrm{\Phi }(\mathrm{\Omega }(x,T)|{|}_2^2+\alpha \cdot max(\text{LPIPS}({\delta }_x)-p,0)$$

• LPIPS : 衡量圖像看起來的相似程度的方式