[Explainable AI] Transformer Interpretability Beyond Attention Visualization。 Transformer可解釋性與視覺化

參考資料

• Attention is All you Need
• The Illustrated Transformer
• illustrated-self-attention-2d627e33b20a_Q(Query), K(Key), V(Value)動畫圖解(https://jalammar.github.io/illustrated-transformer/)

Self-Attention

• Scaled Dot-Product Attention 縮放後的點積注意力

  • 點積: 反映兩個向量間的相似性

  
  

Multi-head Attention

• 由多個Self-Attention模塊串接組成
  • 提供模型彈性、多面向的注意力
• The structure of Multi-Head Attention
  

Transformer模型的整體結構

• 模型架構
  

• Gradients * input activations
• GradCAM
  • class-specific
  • based onlyon the gradients of the deepest layers
    • low-spatial resolution
      
    • Grad-CAM++: Generalized Gradient-based Visual Explanations for Deep Convolutional Networks

• 以遞歸的方式將網絡做出的決定分解為前面各層的貢獻。一直到網絡的輸入

  • 根據Deep Taylor Decomposition(DTD)，將相關性從預測類別反向傳播到輸入圖像。

  • 每層相關性預測總和是固定的
    

    
    - Explainable AI explained! | #6 Layerwise Relevance Propagation with MRI data

• [TA 補充課] More about Explainable AI 15min

  • 看整體影響力的占比(global)，而非權重敏感度(local)
    

  • 計算各神經元相關分數(貢獻度)

    • contribution = activation(z) x weight
      
      

  • 相關分數重新分配給下一層(outputs > inputs)

  • 遞迴反向傳播(BackPropogation)直到輸入
    

• Interactive LRP Demos
• 可解釋 AI (XAI) 系列 — 03 基於傳播的方法 (Propagation-Based): Layer-Wise Relevance Propagation
• 【相关性回传】On Pixel-Wise Explanations for Non-Linear Classifier Decisions

• Layer-Wise Relevance Propagation (LRP)公式
  

  • R 是貢獻程度(相關性分數)，j 是淺層神經元，k 是深層神經元，\(z_{jk}\) 則代表神經元 k 對 j 的重要程度，也就是說較淺層的 \(R_j\) 可以由較深層的 \(R_k\) 反向傳播回去，並且可以知道這個 \(R_j\) 是由多少 \(R_k\) 所組成
  • 各層的總值相等
    • \(\sum_{j}R_{j}\:=\:\sum_{k}R_{k}\)

• LRP傳遞的過程
  

• 從輸出層傳播到輸入層
  

• 通過定義每一層對上一層結果的貢獻和相關性，從最後的輸出結果逐層推導至原圖中的像素層面

  • 每一層的相關分總合均為1，分配給所有權重

• relevance map determines how much each similarity scores influences the output

• \(C ∈ \mathbb{R}^{s×s}\) : 權重過的注意力相關圖(the weighted attention relevance)

  • s : number of tokens

• \((\bigtriangledown A \bigodot R)^+\)

  • 以梯度做為權重，與LRP做逐元素相乘

  • 在計算梯度權重時，僅考慮正值

    • 正梯度數值越大，代表對模型判定為該類別有積極的反應

  • \(\mathbb{E_h}\) is the mean across the “heads” dimension

  • \(I\) : 由於Transformer模組中的跳接設計，在計算注意力相關性圖時，加上單位矩陣來避免每個token(patch)本身的特徵消失

    • (To account for the skip connections in the Transformer block, we add the identity matrix to avoid self inhibition for each token.)

  • 為了改進rollout直接平均head的做法，此研究利用梯度大小會對類別訊號反應的特性，將相關圖(LRP)逐元素乘上梯度，亦即取得與類別相關的權重，而得到權重過的平均Attention head

• 使用矩陣相乘，將各層權重後的Attention map進行訊息匯聚(Layer Aggregate by matrix multiplucation)_見公式(14)

• 下圖為影像中含有多類別的圖像
  • 除了GradCam與本研究方法外，其餘方法對類別反映沒有專一性
  • (GradCam其實表現得滿厲害的)
    

• 正、負擾動試驗採用兩階段設置。

1. 一個預先訓練好的模型用來提取ImageNet驗證集的視覺化訊息。
2. 逐漸掩蓋輸入圖像的像素，並測量模型的平均top-1準確度。

• 在正向擾動中，像素依照相關性分數被從最高掩蓋到最低

  • 預期模型預測表現急劇下降，這表明被掩蓋的像素對分類得分很重要

• 在負向擾動中，像素依照相關性分數被從最低到最高

  • 當移除的像素跟預測類別無關時，模型的預測表現會緩慢下降，也就是相關性分數確實區分了重要與不重要的圖塊區域、具有良好的解釋力

• 在這兩種情況下，我們都測量了"曲線下的面積"（area-under-the-curve, AUC），對10%-90%的像素進行調整。

• 正擾動-數值越低越好
• 負擾動-數值越高越好

• Algorithm for model

  • Transformer Interpretability Beyond Attention Visualization
    
  • Attention Rollout
    

• Setting for models

  • (i) Ours w/o ∇A(b), which modifies Eq. 13 s.t. we use A(b) instead of ∇A(b)
    • 不使用梯度，改用Attention map取代
  • (ii) ∇A(1)R(n1), i.e. disregarding rollout in Eq. 14, and using our method only on block 1, which is the block closest to the output
    • 只在最深層(最接近輸出層的Transformer模塊)使用 \((\Delta A \bigodot R)^+\)的計算方式
  • (iii) ∇A(B−1)R(nB−1 ) which similar to (ii), only for block B − 1 which is closer to the input
    • 只在最淺層(最接近輸入層的Transformer模塊)使用 \((\Delta A \bigodot R)^+\)的計算方式

• 只在深層(b=1,output前一層)採用結合 \((\Delta A^{(1)} \bigodot R^{(n_1)})^+\) 取代單純Attention Rollout(只使用Attention map)的計算方式，取得與實驗方法中最接近的結果，而預測表現只有輕微下降
  • 這一層也是在raw-attention, partial LRP,與GradCAM等方法中使用的位置
  • 顯示接近輸出層含有的資訊遠較輸入層豐富
• 消融實驗結果顯示，本研究方法的效能增進主要來自於相關性(Relevance)分數結合Attention map梯度的計算方式

• 參考官方colab
  • 先載入官方實作好的ViT模型，再載入自己訓練的權重參數，不需要修改任何模型架構

• 模型關注重點：
  • 1.腰部花紋或2.臉部花紋。
  • 比較像人類第一眼看到這幾張海鳥照片直覺會看的區域(特別是腰部明顯對比的黑白花紋)
    
    
• 人類專家判別重點
  • 1. 腳是否突出尾部 2. 翅型比例 3.體型大小
       

• 館碩：這個也回到目的討論，如果我們上週看的兩者在飛行時外觀細到要看腳有沒有突出 (這跟體型大小或身型比例等都會受到拍照角度影響) 那就不是我們現在的模型要解決或能夠的問題。如果以全鳥類來看，某些外觀極相似，可能都是演化尺度的問題，我們模型分不出類別沒關係，但可以事後檢驗這些相似是巧合還是被環境篩選出的祖徵或是趨同演化之類