# 9. HUNG-YI LEE 2022 ML - Explainable ML 希望知道模型的**得到答案的理由** ###### tags: `Machine Learning` ## idea 能得到正確答案不等於智慧 醫療診斷 法律應用 銀行貸款 自駕車等等，都需要可解釋性 * Linear model * 好解釋，但有重大缺陷 * DL network * 不好解釋(黑箱)，但很強大 * Decision Tree * 好解釋(本堂課不教)，比Linear強 * 然而我們常用的random Forest(多個Decision Tree)，仍然難以解釋! ## Goal 哈佛的心理學研究指出，人就是需要一個理由才肯相信 * Explainable ML： * Local Explainable 根據**某張照片回答問題(為何覺得這張照片是貓?**) 根據哪種component(區域)所判斷出的? * 區域重要性的影響 * 透過灰色方塊進行遮罩 * Saliency Map技術 * 使用pixel運算(偏微分)，繪製Saliency Map圖。顏色越淺，該區域pixel越重要 * 實際案例 - 數碼寶貝與寶可夢辨識率很高，原因是因為數碼寶貝皆為jpeg(黑底)，而寶可夢為png(白底) * 實際案例 - PASCAL VOC 2007 data set馬的照片辨識率很高，原因為背景有浮水印記號 * 限制與解方 * 採Noisy Gradient - SmoothGrad * 先在圖片中加入雜訊，再透過平均後，可以產生比不處理的圖片更少雜訊的Saliency Map圖像，讓主體在Saliency Map上更加清晰 * Geadient Saturation * 某一特徵可能大到一個程度，其數值不再增加，其特徵對於判斷的偏微分可能趨近於0(觀察gradient時)，無法反映現實。可採用IG技術 - 助教有實作code * Global Explainable 當我們有一個模型時，**對這些參數而言，甚麼東西叫做貓** * CNN的filter是負責偵測甚麼 * ... * ... * ...