Try   HackMD

5.4 Feature Interaction

tags: 重點摘要
  • 一個模型有兩個特徵，模型可以是一個常量 + 只包含第一個特徵的項 + 只包含第二個特徵的項 + 兩個特徵的交互項。利用Friedman’s H-statistic的理論，我們可以計算特徵交互。
    ** Friedman's paper https://arxiv.org/pdf/0811.1679.pdf
  • 整體來說，若變數之間的變異數(variance)低於10％，代表變數之間的交互作用非常弱

H統計量的優點

  • 有理論基礎：透過PD函式來計算variance
  • 有意義的解釋：透過計算variance的方式來解釋變數之間的交互作用
  • 可跨模型間比較：因為dimensionless(無因次量、無維度量)，計算出來為數值，沒有單位，所以可比較
  • 可以計算各種類型變數的交互作用
  • 可以計算三個以上的變數間的交互作用

H統計量的缺點

  • 花費很長時間進行計算，因為計算量很大
  • 若是抽樣計算，結果可能會不穩定，建議可計算不同的抽樣樣本的統計量
  • 無法確定統計量是否顯著大於0時(有交互作用)，需要進行統計檢定，但與模型無關的版本不適用
  • 統計量無絕對門檻值判斷是否有顯著交互作用
  • H統計量可能大於1，會讓解釋變困難
  • 可透過統計量知道交互的強度，但無法了解交互的關係
  • 對圖像分類器無用
  • H統計量假設變數可獨立地進行隨機排序，如果變數之間具有很強的相關性，則將違反該假設
  • 如果只解讀交互作用，可能會產生現實中極不可能發生的組合

論文參考：https://arxiv.org/pdf/0811.1679.pdf

Last changed by 
 
Explainable AI
0
507

Read more

NLP xai

https://arxiv.org/pdf/2010.00711.pdf 總結目前NLP相關paper使用的解釋方法有哪些 Explanation derivation -- 數學上的解釋 Feature importances Explanation presentation -- 如何呈現這些Explanation Visualization

Dec 24, 2020
Questioning the AI: Informing Design Practices for Explainable AI User Experiences

Dec 9, 2020
讀書會時程規劃

閱讀書籍 - Interpretable Machine Learning A Guide for Making Black Box Models Explainable. 兩篇論文： https://arxiv.org/pdf/2001.02478.pdf https://arxiv.org/pdf/1909.03012.pdf 書籍網址 https://christophm.github.io/interpretable-ml-book/ 倚任副理建議直接先閱讀第五章和第六章 讀書計畫初稿如下表，從下週二開始分享，之後視情況可機動調整

Nov 26, 2020
6.4 Influential Instances

機器學習的模型是訓練數據的產出，刪除任一訓練數據會影響訓練結果。若刪除每一訓練數據對模型產生巨大影響，則稱這個點唯有影響的點(instance)。對有影響的點分析可以幫助我們檢視模型。 Deletion Diagnostics : delete the instance from the training data, retrain the model on the reduced training dataset and observe the difference in the model parameters or predictions Influenced functions : upweight a data instance by approximating the parameter changes based on the gradients of the model parameters. 6.4.1 Deletion Diagnostics DFBETA : 衡量移除某個instance對模型參數的影響。 $DFBETA_i = β-β^{-i}$ 適用於有參數的模型，如 logistic regression or neural networks.

Nov 6, 2020
Read more from Explainable AI
Published on HackMD