9. HUNG-YI LEE 2022 ML - Explainable ML

希望知道模型的得到答案的理由

tags: Machine Learning

idea

能得到正確答案不等於智慧
醫療診斷 法律應用 銀行貸款 自駕車等等，都需要可解釋性

• Linear model
  • 好解釋，但有重大缺陷
• DL network
  • 不好解釋(黑箱)，但很強大
• Decision Tree
  • 好解釋(本堂課不教)，比Linear強
  • 然而我們常用的random Forest(多個Decision Tree)，仍然難以解釋!

Goal

哈佛的心理學研究指出，人就是需要一個理由才肯相信

• Explainable ML：
  • Local Explainable
    根據某張照片回答問題(為何覺得這張照片是貓?)
    根據哪種component(區域)所判斷出的?
    • 區域重要性的影響
      • 透過灰色方塊進行遮罩
      • Saliency Map技術
        • 使用pixel運算(偏微分)，繪製Saliency Map圖。顏色越淺，該區域pixel越重要
        • 實際案例 - 數碼寶貝與寶可夢辨識率很高，原因是因為數碼寶貝皆為jpeg(黑底)，而寶可夢為png(白底)
        • 實際案例 - PASCAL VOC 2007 data set馬的照片辨識率很高，原因為背景有浮水印記號
        • 限制與解方
          • 採Noisy Gradient - SmoothGrad
            • 先在圖片中加入雜訊，再透過平均後，可以產生比不處理的圖片更少雜訊的Saliency Map圖像，讓主體在Saliency Map上更加清晰
          • Geadient Saturation
            • 某一特徵可能大到一個程度，其數值不再增加，其特徵對於判斷的偏微分可能趨近於0(觀察gradient時)，無法反映現實。可採用IG技術 - 助教有實作code
  • Global Explainable
    當我們有一個模型時，對這些參數而言，甚麼東西叫做貓
    • CNN的filter是負責偵測甚麼
    • …
    • …
    • …