---
# System prepended metadata

title: Path-Specific Counterfactual Fairness for Recommender Systems
tags: [資料探勘, Data Mining]

---

# Path-Specific Counterfactual Fairness for Recommender Systems
###### tags: `Data Mining` `資料探勘` `KDD2023`

[Toc]

## 1. Introduction

推薦系統已經成為現代大部分線上平台不可或缺的一部分，而他們除了期待要能夠精準的推薦客戶之外，也要能夠在推薦的時候更具備公平性[^公平性]。然而大部分推薦系統為了達到公平性所採取的作法幾乎都是直接移除這些相關的敏感資訊，但這些相關資訊卻也是能幫助精準推薦的要素之一，為了能更好的兼顧公平性與精準推薦，而非完全捨棄相關敏感資料，因此提出了`Path-specific fair RS`這個解決辦法。

+ 論文帶來的貢獻
	+  在探討推薦喜統的路徑特定公平性，在確保公平性的同時，最大的保留推薦所需的多樣性
	+ 在理論的角度上，提出PSF-RS方式，將帶有偏差的事實轉換為一個假設中的公平世界，通過解決約束優化(Constrained optimization problem)問題來學習一個公平的推薦系統
	+ 透過PSF-VAE的方式，將推薦的公平性應用到那些不公平推薦稀疏或沒有不公平推薦的用戶
		+ ==就是讓所有用戶都能有公平性推薦的意思==

[^公平性]: 指不依照一些人口常見資訊(性別、年齡、種族等)產生推薦，Ex :     電影推薦系統因為使用者是女性就推薦他愛情片等。
## 2. THEORETICAL ANALYSIS

### 2-1 Task Formulation

+ 論文主要著重在研究基於隱式反饋[^隱式反饋]的推薦系統公平性，希望能最大限度消除敏感資訊帶來的不公平性，又同時最大化推薦系統的多樣性。
+ 考量的資料集描述 $D = \{(r_𝑖, s_𝑖, x_𝑖)\}^𝐼_{i=1}$
    + $r_i \in \{0,1\}^J$
        + $r_i是一個二進位向量，代表的是用戶i與項目J是否有互動$
    + $s_i \in R^k$
        + 表示用戶的敏感特徵，Ex: `種族`、`性別`
    + $x_i \in R^k$
        + 非敏感特徵


[^隱式反饋]: 用戶行為中隱含的、未直接表達的偏好訊息。EX: 點擊某個項目、瀏覽某些項目的時間長短等等。
### 2-2 Causal Model and Assumptions

#### 2-2-1 User Fair Latent Variable
![image](https://hackmd.io/_uploads/SyGFOHNH0.png)

這裡的$X$、$S$、$R$就是前面資料集的$X$、$S$、$R$

+ 在常見的概率型推薦系統中，會將一些隱藏因素[^隱藏因素]聚合為一個潛在變數(`User Latent Variable`) $U$，而這些潛在變數通常會造成用戶後來行為($R$)的一些影響
+ 現今的公平推薦系統(RSs)，在發現$U$中的某些因素是因為$S$導致時，就會直接==無差別消除==，不論他們對推薦是否有影響
+ **User Fair Latent Variable** $U_f$ -> 這篇文章提出方法
    + 在發現$U$中有$S$造成的因素時，透過$U_f$可以去判斷這些與敏感資訊相關的因素，來決定這些敏感相關因素是否需要被納入推薦因素中。
    + ==簡單來說==，$U_f$會判斷敏感因素對於推薦的影響
        + 好的敏感因素影響 -> 納入$U_f$中
        + 壞的敏感因素影響 -> 納入$U_b$中

#### 2-2-2 User Bias Latent Variable: The Proxy Mediator
+ **User Bias Latent Variable** $U_b$
    + 統整前面沒有被納入$U_f$中，剩下來與敏感資訊相關的因素，就是$U_b$

[^隱藏因素]: 不能直接觀察到，但對觀察到的數據產生影響的因素。Ex: 用戶點擊某些商品的、所在地理位置等等。

#### 2-2-3 Path-specific Counterfactuals

![image](https://hackmd.io/_uploads/SJI3V0BHA.png)

+ 對於敏感特徵的識別主要是透過Path-Specific Counterfacturals這個方式
    + ==為了區分公平與不公平性的影響，且最大限度的消除不公平影響==
    + Path-specific，指的是針對特定路徑
+ NPO(Nested Potential Outcome`潛在套遷結果`)
    + 實現`Path-Specific Counterfacturals`的方式
    + 將原先的敏感資料$S$，更改為$S'$並讓$S'$往$U_b$的方向走，透過觀察這兩條路徑的變化，==來看$S$對$R$造成的公平或不公平影響==
    
### 2-3 Unfairness of Naive RSs
- 根據NPO，分析Naive RSs的不公平性。由於評分預測與產生偏見觀察評分的因果機制一致，所以即使模型在推薦中沒有直接使用敏感特徵，仍然會捕捉到敏感特徵與評分之間的不公平關聯，從而做出偏見推薦。
`NPO: 衡量特定條件下變數之間的不平衡性或偏見`
#### 2-3-1 Path-Specific Bias for Naive RSs
- 使用者潛在變數推斷的U和生成分佈p~naive~(R|U)預測新的建議評分。
![image](https://hackmd.io/_uploads/SyW0UN7BR.png)
- Naive RSs
    - 根據原本非敏感特徵X=x和敏感特徵S=s，所做的預測。
- Naive RSs的不公平性可以透過事實因果圖上的不公平路徑，透過S對R的路徑特定影響來量化，可以定義為：
![image](https://hackmd.io/_uploads/HkPRXpHrC.png)
    - 原因
        1. U捕獲對觀察到的用戶行為R有因果影響的所有潛在因素，即U = {Uf, Ub}。
        2. p~naive~(R|U)與產生觀察到的評分因果機制一致，即p(R|U~f~,U~b~)。
        `p~naive~(R|U)：原生(naive)推薦系統在給定使用者的潛在偏好和特徵𝑈後，使用者可能給出的評價𝑅的預測概率。`
    - 路徑特定偏差PSBias(x, s, s’): 
        - 衡量敏感特徵𝑆從s變為s’產生的預測變化，考慮不公平路徑𝑆→𝑅和𝑆→𝑈~𝑏~→𝑅。
        `不公平路徑：可能引入或放大偏見的因果路徑`
        - S沿著公平路徑S→U~f~→R保持不變。
        - 非敏感特徵X沿著所有路徑保持不變。
        `敏感特徵S可能經過不公平路徑(偏見特徵)和公平路徑(公平特徵)，為了分析偏見特徵對評分的影響，所以公平特徵和非敏感特徵路徑都保持不變。`
        `要吐了_(˙ཀ˙」 ∠)_`
### 2-4 Minimal Change Principle and Over Fairness of Existing Fair RSs
==最小變化原則與現有fair RSs的過度公平性==
- 消除偏見解法：fair RSs對naive RSs有所限制
    - 策略 
        - 最大化D中評分的log-likelihood L，即D~𝑅~。
        - 使用者潛在變數U獨立於敏感特徵S。
        ![image](https://hackmd.io/_uploads/HyBHPUQBA.png)
        - 如下
        ![image](https://hackmd.io/_uploads/BJgZ4THBR.png)
    - 實現
        - 對抗性訓練
        - 最大平均差異（MMD）最小化
        - 產生觀察評分的因果機制(𝑈~f~|S,X)和p(U~b~|S)改為p~ef~(U~f~|X), p~ef~(U~b~)，不再依賴S。
        `滿足上述使U獨立於S`
        ![image](https://hackmd.io/_uploads/B1KQo8Qr0.png)
    - U和S完全獨立
        - 優：消除PS-Bias(偏見)。
        - 缺：
            - 過度公平的問題，在消除偏見的過程，公平的因果結構p(U~f~|S,X)也被破壞，敏感特徵S的合理影響途徑也會被消除。
            - 違反Pearl提出的最小變化原則(Minimal Change Principle of Pearl)
### 2-5 Path-Specific Fairness for RSs
- PSF-RS
    - 特定路徑的公平RS，同時最大限度地保留推薦中必要的多樣性
    - 為了解決目前公平RS過度公平的缺點
    - 將有偏見的現實世界最小化調整為假設的公平世界，再產生新的推薦評分。
    `對存在偏見的現實情況盡量修改小一點`
    - 找到接近事實分佈p(R|U~f~,U~b~)的反事實分佈p~psf~(R|U~f~,U~b~)
    - 表示為：
    ![image](https://hackmd.io/_uploads/SJD74prrC.png)
- 新因果圖(causal gragh)
    - PSBias*(x, s, s')為0
        - 僅使用U~f~產生的推薦p~psf~(R|U~f~)
        `Uf為公平中介，最大程度地保留𝑆的公平影響；Ub為不公平中介`
    - p(U~f~|S,X)和p(U~b~|S)保持不變 
    `保持其他事實因果機制不變`
    ![image](https://hackmd.io/_uploads/S1oqeBVBA.png)
## 3 PS-FAIR VARIATIONAL AUTO-ENCODER
- PSF-RS的挑戰
    - 由於U~f~和U~b~都是潛在的，無法獲得p~psf~(R|U~f~)。
    `潛在的：無法直接觀察到，需透過推斷或模型估計。` 
    - 由U~b~中介的不公平評分R~b~，可以用來區分U~b~和U~f~，但R~b~很稀疏，只適用一小部分用戶。
- ==PSF-VAE== (path-specific fairvariational auto-encoder)
`特定路徑公平變分自動編碼器`
    - 一種半監督式生成模型，作為PSF-RS的實現。
    - 透過DNN，從資料集D中的偏觀察評分R推斷出U~f~和U~b~，再消除U~b~，僅利用U~f~。
### 3-1 Factual Generative Process
1. 為每個使用者生成U~f~和U~b~
    ![image](https://hackmd.io/_uploads/SJmLEaBHA.png)
    - 根據高斯先驗p~θ~(U~f~|S,X)和p~θ~(U~b~|S)生成的。
2. 推斷r~b~
     ![image](https://hackmd.io/_uploads/HkFwVpBSA.png)
    - u~b~透過參數化的p~θ~(R~b~|U~b~)生成的伯努力分佈。
3. 生成評分r
    ![image](https://hackmd.io/_uploads/BJ9ONpHBA.png)
    - u~f~和u~b~透過參數化的p~θ~(R|U~f~,U~b~)生成的多項式分佈。
### 3-2 Weakly-Supervised Variational Inference
- 採取變分推斷(variational inference)
    - 因為潛在變數的真實後驗分佈（即p~θ~(U~f~|R,S,X和p~θ~(U~b~|R~b~,S,X)是難以處理的
        `類似潛在變數的真實概率分佈`
    - 使用由DNN參數化的U~f~和U~b~，其可訓練參數為𝜙，即q~𝜙~(U~f~)|·)和q~𝜙~(U~b~)|·)。
    - 使用KL散度在q~𝜙~中找與真實最接近的分佈。
- U~f~的變分推斷為q~𝜙~(U~f~|R,S,X)
- U~b~的變分推斷為q~𝜙~(U~b~|R,S)
    - 本來要是q~𝜙~(U~b~|R~b~,R,S)，省略R~b~是因為R~b~只有少部分使用者有，如果依賴R~b~沒觀察到R~b~的使用者則無法使用。
    - R和S包含了足夠R~b~的資訊，來自具R~b~的使用者的弱監督訊號能可以引導q~𝜙~(U~b~|R,S)的訓練。
### 3-3 Evidence Lower Bound
`縮寫為ELBO`
- 將變分後驗分佈和真實後驗分佈之間的KL散度最小化，相當於ELBO。模型證據 lnp~𝜃~(R,R~b~|S,X)的下界：
![image](https://hackmd.io/_uploads/ryq9V6SrA.png)
### 3-4 Disentanglement via Adversarial Training
- 在引入p~psf~(R|U~f~)以做出公平推薦之前，PSF-RS的PS-fairness(公平性)需要正確指定的推斷模型
`𝑝𝑝𝑠𝑓（𝑅|𝑈𝑓）將有偏見的事實世界最小化為假設的公平世界`
    - 特別是需要確保U~f~⫫U~b~|S，防止U~f~直接依賴U~b~，避免不公平資訊洩漏給U~f~。
- 可能錯誤指定推斷模型
    - 由於U~f~和U~b~的真實後驗不能保證位於變分族(variational family)𝑞𝜙中
- ==對抗性訓練策略==
    - 確保U~f~和U~b~獨立
    - 步驟
        1. 將判別器模型pd參數化，依據𝑈~𝑓~和𝑆預測𝑈~𝑏~為：
        ![image](https://hackmd.io/_uploads/r1tnVTBBR.png)
        2. 方程式ELBO最大化，從變分後驗𝑞𝜙獲得的𝑈~𝑓~和𝑈~𝑏~用於訓練𝑝𝑑。
        3. 確定了ˆq𝜙(U~b~|R,S)，從中採樣ˆub 並訓練判別器pd(U~b~|U~f~,S)以從Uf和S最佳預測ˆu𝑏。同時限制𝑈𝑓的推理模型，即𝑞𝜙(U~f~|R,S,X)，欺騙判別器。可表示為GAN-like mini-max game:
        ![image](https://hackmd.io/_uploads/ByzANpHrA.png)
        4. pd具有足夠容量的情況下，當上列式子達到平衡時，U~f~⫫U~b~|S成立。
### 3-5 PS-Fair Rating Predictions
- 反事實評分生成器p~psf~(R|U~f~)，最小化程度地修改有偏見的事實世界，同時確保特定路徑的公平性和推薦的必要多樣性。
    - 透過優化PSF-VAE的「事實步驟」後，我們確定了𝑞𝜙(U~f~|R,S,X)並獲得使用者公平潛在變數ˆuf作為後驗均值。 
    - 使用推斷的ˆu𝑓和觀察到的評分r優化方程式（7），可以得到PS-Fair評分預測器p~psf~(R|U~f~)。
    - p~psf~(R|U~f~)參數化為以下多項分佈，其中MLP~psf~是另一個具有softmax作為最後一層啟動MLP。
    ![image](https://hackmd.io/_uploads/SJ9ySaHBR.png)
    - 透過p~psf~(R|U~f~)獲得所有先前未互動過項目的多項機率，按照最相關性從高到低排名，提供推薦。

## 4 EXPERIMENTS

- 在實驗中，分別使用了兩個半模擬資料集，以及一個真實的資料集，**並藉由回答三個 research questions**，來驗證 PSF-VAE 的有效性：
    - 與有 fairness constraints、沒有 fairness constraints 的 RS 方法相比，PSF-VAE 可以達到什麼程度的 fairness？  
    - 與現有的 fair RS algorithms 相比，PSF-VAE 能否很好地保留敏感特徵的必要影響？
    - 已知不公平項目 $R_b$ 的使用者數量會如何影響 PSF-VAE 在公平性上的表現？

### 4-1 Dataset

- 由於在實際的資料集中，我們無法直接辨別 sensitive features 實際上與 fair 和 unfair 的因果關係，造成難以評估效能，因此首先創造了一個半模擬的資料集，其中已知 sensitive features 與 user ratings 的因果關係，如此一來便可以檢驗 PSF-VAE 的性能。
- 再來使用引入了現實世界的資料集(from LinkedIn)，資料集包含了使用者對於推薦的負面回饋，例如用戶對於廣告明顯的拒絕行為，作為不公平項目的代理，用於輔助評估模型。
- ~~後面一堆參數公式是三小誰看得懂==~~

#### *4-1-1 Semi-Simulated Dataset*

- Semi-Simulated Datasets 是基於 MovieLens-1M 和 Amazon Videogames 兩個資料集生成的
- ==生成的方式容許我先跳過，我叫ChatGPT跟我說他在做什麼之後我還是不知道怎麼統整:)，反正應該就是生成時一堆公式參數設定==
[ChatGPT回覆](https://imgur.com/j0ZqnER)

#### *4-1-2 Real-World Dataset*

- 從 LinkedIn 收集了一個工作推薦的資料集，$R$ 為使用者與工作廣告的正向互動。
- 拿用戶對廣告主動拒絕工作推薦的數據做為 unfair items 的替代品 $R_b$
- 其中的敏感特徵，包含年齡、性別、教育程度等，都可以很公平的影響工作的推薦，例如年齡可以決定他們的經驗以及資歷、教育程度可以決定他們的知識與專業技能
- 為了保護隱私，訓練了一個生成模型(VAE)，將原始數據編碼成聯合分布$(R,R_b,S)$，並將 $S$ 嵌入到 50 維的連續向量中，然後從  $P_{gen}$ 生成匿名的資料用於實驗中以保護隱私??????
~~50維是三小???????然後我發現一般內文的符號，連續三個以上都只會顯示三個欸~~

![image](https://hackmd.io/_uploads/r1cMVw7BA.png)

| #Dataset | #Int.   | #Users  | #Items     | Sps.$(R)$ | Sps.$(R_b)$     |
| -------- | ------- | ------- | ---------- | --------- | --------------- |
| 資料集    | 點擊次數　| 用戶數量 | 推薦項目數量 | 互動的稀疏度 | 不公平項目的稀疏度 |

`稀疏度(sparsity): 零值的占比`
- ML-1M 和 AM-VG 為半模擬資料集，LinkedIn 為真實世界中的資料集
~~代表互動跟不公平項目都少到靠北欸？這樣正常嗎？我沒懂~~

### 4-2 Experimental Settings

#### *4-2-1 Setups.*

- 隨機將用戶分成 **Training set : Validation set  : Testing set  =  8 : 1 : 1**，而每個用戶的 20% 評分會保留，用於 evaluation
- 在 ML-1M 和 AM-VG 資料集中，將 100 * (1-$c_r$%) 用於 training 和 validation 的 users 的 $r_b$ 遮罩為0 ($c_r$設為0.3，與LinkedIn資料集相同)，testing 的 $r_b$ 則全部用於獲取不同方法中公平性的公正評估
- 在 ML-1M 和 AM-VG 資料集中，固定模擬維度 $U_b$ 也就是 $K_b$ 設為 50 用於比較不同方法中，推薦以及公平性的表現
- 接著改變 $K_b$，進一步證明 PSF-VAE 在 observed ratings 與 sensitive features 中不同程度的不公平相關性的穩健性
- 結果都是在 10 次隨機數據集分割下的平均值

#### *4-2-2 Evaluation Metrics.*

- 從兩個不同層面評估: **recommendation performance** 和 **fairness**
- recommendation 用兩種方法計算:
    - **recall(R@M)**
        - 計算前 M 個推薦項目的 recall 
    - **truncated normalized discounted cumulative gain(N@M)**
        - 計算前 M 個推薦項目的 NDCG
- fairness: 
    - **the hit rate of top 𝑀 items on unfair items(HiR@𝑀)**
        - 在前 M 項推薦中不公平項目的比例
- 半模擬資料集中，我們有所有測試用戶的不公平項目 $J_{b,i}$，因此可以直接計算與評估 fairness
- LinkedIn 資料集中，只能從測試用戶中觀察到的不公平項目做 fairness 的評估與計算
- 我們發現 $M$ 並不會影響到不同方法的相對表現，因此與[這篇論文](https://arxiv.org/abs/1802.05814)相同，將 recall 的 $M$ 設為 20，NDCG 的 $M$ 設為 100，而因為觀察到的不公平項目很少，因此將HiR 的 $M$ 設為 10

#### *4-2-3 Model Selection.*

- 在訓練中的驗證，我們觀察兩個綜合指標:
    - $Met_{rf}(i)=R@20(i)+N@100(i)-HiR@10(i)$
        - 用於驗證集中有已知不公平項目的用戶
    - $Met_r(i)=R@20(i)+N@100(i)$
        - 用於驗證集中沒有觀察到不公平項目的用戶
    - 對於所有驗證集的用戶，計算兩個指標 $Met_{rf}$ 和 $Met_r(i)$ 的加權平均，也就是 $\hat{Met}$
- 接著**根據 $\hat{Met}$ 的最大值選擇最佳模型**，並回報對於測試集用戶 recommendation 和 fairness 的表現

### 4-3 Comparisons with Baselines

#### *4-3-1* Baseline Descriptions.

- 為了回答 RQs 1 and 2，我們與具有/不具有公平感測機制的最先進的 RSs 進行比較，可分為四大類:
    - Unawareness.
        - 這種方法只會用看似不敏感的資訊進行推薦
        - 這方面與 PSF-VAE 相對的是普通的 **Multi-VAE**
    - Naive.
        - 明確使用敏感特徵進行推薦
        - 在我們的例子中，可以被實作為一般的 Multi-VAE，其中輸入的評分會被敏感特徵所增強
        - 增強方式與 user conditional Multi-VAE (**CondVAE**) ([這篇論文](https://www.researchgate.net/publication/332194527_A_Novel_Top-N_Recommendation_Approach_Based_on_Conditional_Variational_Auto-Encoder))相同
    - Total Fairness.
        - 這種方法會完全去除任何敏感特徵帶來的影響
        - 建立於 Unawareness (Multi-VAE) 之上，必須讓要推斷的用戶潛在變數與用戶敏感特徵分離，從而得到評分
        - 提出了兩種分離策略
            - **Fair-ADV**: 透過對抗訓練，限制 Multi-VAE 的用戶潛在變量與敏感特徵無關，詳情請見[這篇論文](https://dl.acm.org/doi/10.1145/3404835.3462966)
            - **Fair-MMD**: 將 Multi-VAE [這篇論文])(#)中，「給定敏感特徵的用戶潛在變量的最大平均差異(MMD)」最小化，具體來說，我們隨機選擇敏感特徵中的一個維度，將其 binarize 以實現最小化
    - PS-Fairness.
        - 考慮了 naive PS-Fair 策略，也就是 **PSF-NN**，對每個用戶，我們根據敏感特徵計算該用戶與所有其他具有 $R_b$ 的用戶之間的相似度。
        - 然後選擇 N 個最相似的鄰居，得到 top K 個不公平項目，如果這些項目出現在推薦列表中，則將其移除。
- 最後，由於提升公平性的其中一個簡單策略是在 Naive 模型上對觀察到的評分進行 underfitting，因此我們設置了一個 early-stop baseling，**CondVAE-ES**，它擁有最接近於 PSF-VAE 驗證集用戶的 N@100，用來證明 PSF-VAE 的公平性提升不僅僅只是簡單的 underfitting

#### *4-3-2. Conparison Results.*

- Table 2 是 PSF-VAE 與其他 baseline 的比較，粗體是最好，底線是第二好，**並得到以下五點結論**
    - 將所有敏感特徵納入做推薦的 **CondVAE 有最好的推薦表現**，卻也有**最差的公平性**
    - 簡易的忽略敏感特徵，**Unawareness model (Multi-VAE) 有著比 Naive model 更好的公平性**，而**推薦表現差於 Naive model**
    - **RSs with Total Fairness 比 Multi-VAE 更進一步提升了公平性**，因為它移除了在用戶潛在便量中敏感特徵與觀察到的評分之間的關係，然而，因為敏感特徵被沒有區別的移除，因此在**推薦的表現上最差**
    - 雖然 **PSF-NN 比 CondVAE 的公平性更好，但成效並沒有很顯著**，理由是 NN 策略過於粗糙，無法反映模型中敏感特徵對觀察到的評分的複雜不公平影響
    - **PSF-VAE 比起 Total Fairness，有著更好的推薦表現**；**比起 Naive 和 Unawareness models 有著更好的公平性**，因為 PSF-VAE 只會移除敏感特徵對於評分的不公平影響，並且在推薦上最大化保留它們對於用戶興趣的公平影響
![image](https://hackmd.io/_uploads/HJol8YVHA.png)
- 此外，我們在 AM-VG 和 ML-1M 資料集中設定了不同的模擬維度 $U_b$，也就是 $K_b$，以改變「敏感特徵中公平與不公平的因果關係影響」的相對強度，並重複實驗，如 Fig. 6 所示，進一步說明了 PSF-VAE 在推薦表現上與公平性之間取得了更好的平衡
![image](https://hackmd.io/_uploads/HkxGwqKVBA.png)

### 4-4 Ablation Study[^Ablation\Study]

- 我們與以下的變化做 ablation study 來進一步驗證其性能
    - **PSF-VAE-nLat** 移除了 user bias variable $U_b$ 並透過 adversarial training 來使 Multi-VAE 中的 user latent variable $U$ 獨立於觀察到的不公平項目 $R_b$
    - **PSF-VAE-nWSL** 移除了 PSF-VAE 中的 weakly-supervised learning module，也就是說，當擬合上 biased observed ratings $R$，如下方公式，我們只在有「觀察到不公平的項目的用戶」的子集引入使用者偏差潛在變數 $U_b$
    - **PSF-VAE-nADV** 移除了 PSF-VAE 中的 adversarial training module，確保在給定使用者敏感特徵 $S$ 的情況下，潛在中介者 $U_f$ 和 $U_b$ 之間的條件獨立性
    - **PSF-VAE-Mask** 使用與 PSF-VAE 相同的 generative 和 inference networks 做訓練，然而它不是學習新模型 $P_{psf}(R|U_f)$，而是掩蓋了 $P_{\theta}(R|U_f, U_b)$ 對於 $U_b$ 的權重，導致一個新的分布 $P_{masked(\theta)}(R|U_f)$ 並用 $P_{masked(\theta)}$ 來做推薦
- 從 Table 3 可以發現，**PSF-VAE-nLat 在所有變化中有著最差的推薦表現**，顯現出了直接在觀察到的不公平項目 $r_b$ 上做 adversarial training 是不穩定的，因為 $r_b$ 有高維度的稀疏矩陣
- 此外，**PSF-VAE-nWSL, PSF-VAE-nADV, PSF-VAE-Mask 比 PSF-VAE 的公平性來的差**，不過有著差不多的推薦表現
- 結果更進一步**驗證了 weakly supervised learning 和 PSF-VAE 中的 adversarial training moduels 性能**，增進了在推薦上的 PS-Fairness 
![image](https://hackmd.io/_uploads/H1LJdqVHA.png)

[^Ablation\Study]: 在論文最終提出的模型上，減少一些改進特徵，以驗證相應改進特徵的必要性。Ex: 減少幾層神經網路

### 4-5 Sensitivity Analysis

- 為了回答 RQ 3，我們改變了在模擬資料集中已知有不公平項目的用戶的遮罩率，亦即$1-c_r$
- 從 Fig. 7 中，我們可以發現 PSF-VAE 的公平性隨著 $c_r$ 提升而增加，並在推薦表現上有些許下降，這指出雖然 PSF-VAE 可以在 $c_r$ 較小時有更好的表現，但鼓勵用戶在不公平項目上做回饋才能更進一步的提升推薦上 PS-Fairness 的性能

## 5 RELATED WORK

- **Fair RSs**
    - 傳統的公平推薦系統主要依靠於統計平等，以確保用戶的推薦公平性，像是 demographical parity, equalized odds, etc.
    - 而近期的研究顯示，不同使用者群體之間的統計差異可能被一些重要的非敏感因素解釋
    - 因此沒有區別地實施統計平等的算法仍然可能對抹些用戶群體或個人存在偏見
- **Causal RSs**
    - 透過因果鏡頭，user-oriented 的不公平可以被視為在觀察到的使用者評分上敏感特徵的不良因果影響，導致 a non-confounder induced bias
    - 現有考慮因果性的公平推薦將敏感特徵的因果影響視為不公平並沒有區別地刪除他們
    - **相對地，PSF-RS 透過識別公平與不公平的潛在中介變量來保留敏感特徵對推薦的公平影響，並且可以最大程度地保留推薦的多樣性來實現公平性**

## 6 CONCLUSTIONS

- PSF-RS 的推出，解決了推薦中的不公平問題，同時最大限度地保留敏感特徵對用戶興趣的公平影響
- PSF-RS 從「敏感特徵與觀察到的用戶評分中」總結「fair 與 unfair 的關係性」成兩個潛在代理中介者，這兩個代理可以透過基於觀察到的不公平項目的極稀疏矩陣做 weakly supervised variational inference 來解開。
- 為了消除偏差，我們最小化地改變了偏見的真實世界，使其成為一個假設地公平是藉，並根據解決 constrained optimization problem 來讓RS 公平地學習
- 大量地實驗顯現出了 PSF-RS 的性能