https://arxiv.org/pdf/2010.00711.pdf 總結目前NLP相關paper使用的解釋方法有哪些 Explanation derivation -- 數學上的解釋 Feature importances Explanation presentation -- 如何呈現這些Explanation Visualization

# Questioning the AI: Informing Design Practices for Explainable AI User Experiences

閱讀書籍 - Interpretable Machine Learning A Guide for Making Black Box Models Explainable. 兩篇論文： https://arxiv.org/pdf/2001.02478.pdf https://arxiv.org/pdf/1909.03012.pdf 書籍網址 https://christophm.github.io/interpretable-ml-book/ 倚任副理建議直接先閱讀第五章和第六章 讀書計畫初稿如下表，從下週二開始分享，之後視情況可機動調整

機器學習的模型是訓練數據的產出，刪除任一訓練數據會影響訓練結果。若刪除每一訓練數據對模型產生巨大影響，則稱這個點唯有影響的點(instance)。對有影響的點分析可以幫助我們檢視模型。 Deletion Diagnostics : delete the instance from the training data, retrain the model on the reduced training dataset and observe the difference in the model parameters or predictions Influenced functions : upweight a data instance by approximating the parameter changes based on the gradients of the model parameters. 6.4.1 Deletion Diagnostics DFBETA : 衡量移除某個instance對模型參數的影響。 $DFBETA_i = β-β^{-i}$ 適用於有參數的模型，如 logistic regression or neural networks.

A counterfactual explanation of a prediction describes the smallest change to the feature values that changes the prediction to a predefined output. How do we define a good counterfactual explanation? counterfactual instance produces the predefined prediction as closely as possible counterfactual should be as similar as possible to the instance regarding feature values a counterfactual instance should have feature values that are likely

MMD-critic 如何做為解釋型 AI ? MMD-critic 提供三面向的解釋- better understand the data distribution building an interpretable model making a black box model interpretable Prototype A prototype is a data instance that is representative of all the data. 用一個特定的data instance代表母體

Adversarial patch adversarial example不須與原圖相似 不須找到最小距離就能欺騙模型 直接將patch黏在物體或影像旁 patch已最佳化過(不同背景、形狀、放大、縮小) 參考資料：Brown et. al (2017) Adversarial Patch 的論文內容

*大家蒐集到覺得有興趣的文獻 Explainable AI:From Theory to Mo7va7on, Applica7ons and Challenges https://euads.org/wp-content/uploads/2019/09/xai_Lecture_12.09.2019-Giannotti_2.pdf Limitations of Interpretable Machine Learning Methods https://compstat-lmu.github.io/iml_methods_limitations/

6.1 Counterfactual Explanations Manhattan distance的計算? (Hsin) 5.9 Shapley Values Chernoff bounds如何用來決定iteration次數 (Hsin) 5.6 Global Surrogate

Theory: LIME (Local Interpretable Model-Agnostic Explanations) 限制式 x : instance f : original model G : the family of possible explanations 可解釋的模型(如:線性回歸) πx : 跟x的距離(相似度)

5.10.1 Definition SHAP是由Shapley value啟發的可加性解釋模型。對於每個預測樣本，模型都產生一個預測值，SHAP value就是該樣本中每個特徵所分配到的數值。 SAHP是基於合作賽局理論(coalitional game theory)來最佳化shapely value 式子中每個phi_i代表第i個Featrue的影響程度 、Zi為0或者1，代表某一個特徵是否出現在模型之中。 SHAP是計算shapley values也滿足shapley values 是有唯一解而且Efficiency, Symmetry, Dummy

PPT 初稿製作分工 PDP (菀瑩、仙琪) (1)理論介紹 (2)實例說明 (3)業務應用(如 挑選變數使用) (4)使用限制 (5)Python code ALE (欣芝、璧羽、品瑜)

Shapley Value： 在一個instance的變數值集合中， 某變數對於instance的預測值和平均預測值的差異的貢獻值 Shapley值方法是博弈論中解決合作對策問題的一種方法，能夠根據一個利益集團中各成員對聯盟所得的貢獻程度來進行集團的利益分配。將Shapley值方法應用到模型解釋性的特徵重要性分析中，就是將模型預測類比為多個特徵成員的合作問題，將最終預測結果類比合作中的總收益，而特徵的貢獻程度將決定其最終分配到的收益——重要性評估值。 用文章的範例做解釋： 預測目標：房價 預測變數值：

概述 Anchors是 LIME 的延續，用以解決 LIME 中線性模型無法確定覆蓋度的缺點，以規則集合描述模型的局部行為，根據規則的充分條件來推測模型的行為及分類結果 大多數的可解釋模型，都是使用一個線性模型去擬合模型的局部行為，線性模型能給出樣本中不同特徵的相對重要性。但是由於線性模型擬合的是局部的結果，對於一個未知樣本，不能確定線性模型的結果是否適用於該樣本（即不確定該樣本是否在局部範圍內），這也就是線性模型的覆蓋度是不確定的，會導致低精確度（預測模型行為的精確度） Anchors 為一種模型無關的解釋複雜機器學習模型的系統，使用高精度的規則進行解釋(使用局部的充分條件來解釋模型行為) 透過演算法來有效地生成這樣的規則，設計了多組實驗，針對各種複雜模型和不同領域，來驗證Anchors的可擴展性 Anchors 無關的可解釋模型，基於if-then的規則，給出的解釋是模型在局部行為的充分條件，也就是說，若模型滿足該條件，則模型會給出某種分類(如公式)

Theory: 必須是機器學習模型 具可解釋性 訓練目標是Black Box模型的“預測值”，而非真實資料的“目標值” 訓練資料可以是： 與Black Box模型的訓練資料相同 具同樣分布的新資料集 原資料的Subset

Permutation feature importance是計算當某個feature的值被重新排列後，模型誤差增加多少 5.5.1 theory (直接看怎麼計算吧) 取自如何跟我妈解释机器学习模型 - (1) 特征重要性 Permutation importance的计算很简单：首先我们有一个已经训练好的模型以及该模型的预测表现（如RMSE），比如说我妈的房价预测模型本来在validation数据上的RMSE是200。然后针对其中的变量（如面积），我们把这个变量的值全部打乱重新排序，用这个重新排序过的数据来做预测，得到一个预测表现。比如说这下RMSE变成了500，那么面积这个变量的重要性就可以记为300（=500-200）。 调包计算permutation importance只需要4行，举个栗子： import eli5 from eli5.sklearn import PermutationImportance

一個模型有兩個特徵，模型可以是一個常量 + 只包含第一個特徵的項 + 只包含第二個特徵的項 + 兩個特徵的交互項。利用Friedman’s H-statistic的理論，我們可以計算特徵交互。 ** Friedman's paper https://arxiv.org/pdf/0811.1679.pdf 整體來說，若變數之間的變異數(variance)低於10％，代表變數之間的交互作用非常弱 H統計量的優點 有理論基礎：透過PD函式來計算variance 有意義的解釋：透過計算variance的方式來解釋變數之間的交互作用 可跨模型間比較：因為dimensionless(無因次量、無維度量)，計算出來為數值，沒有單位，所以可比較 可以計算各種類型變數的交互作用

成員與組別 G1：菀瑩、仙琪、博寬 G2：璧羽、欣芝、家斌 G3：思樺、品諭、俊民 可以編輯 我也不知道 缺經費～～～～#俊民副理、家斌副理?! try try hello ha ha

開放填寫，有問題都可以寫 XAI SAS有哪些方法來解釋產出的模型? (例如使用什麼套件?) 解釋性AI的方法論與實際計算方式 各種模型適用的解釋型AI的方法論都一樣嗎? 如何從模型或資料判斷要用哪種方法解釋? SAS怎麼運用解釋型AI?產出的結果怎麼呈現? 有實際案例嗎?