20251004 筆記，內容可能有錯，請參考來源影片。

[李宏毅機器學習2021影片](https://www.youtube.com/playlist?list=PLJV_el3uVTsMhtt7_Y6sgTHGHp1Vb2P2J)

今天影片內容

[【機器學習2021】機器學習模型的可解釋性 (Explainable ML) (上) – 為什麼類神經網路可以正確分辨寶可夢和數碼寶貝呢？](https://youtu.be/WQY85vaQfTI?si=TMlH1vk0h2cTC60G)

[【機器學習2021】機器學習模型的可解釋性 (Explainable ML) (下) –機器心中的貓長什麼樣子？](https://youtu.be/0ayIPqbdHYQ?si=PPaGG3gbMbwXi9le)

[【機器學習2021】概述領域自適應 (Domain Adaptation)](https://youtu.be/Mnk_oUrgppM?si=NxTBII8BB716L6uu)

### 【機器學習2021】機器學習模型的可解釋性 (Explainable ML) (上) – 為什麼類神經網路可以正確分辨寶可夢和數碼寶貝呢？大綱

### I. 介紹可解釋機器學習 (Explainable Machine Learning)
A. Explainable AI 的目標：不只得到答案，還要得到理由。
B. Explainable AI 的重要性與動機。
C. 模型的權衡：可解釋性與強大性。
D. Explainable AI 的終極目標：取得人類的接受。

### II. 局部解釋 (Local Explanation) 技術
A. 局部解釋的定義 (針對單一輸入進行分析)。
B. 基礎原則：組件的重要性。
C. 技術一：Occlusion/Perturbation。
D. 技術二：Saliency Map。
E. 案例研究：寶可夢與數碼寶貝分類器 (證明 Explainable AI 的必要性)。
F. Saliency Map 的改進方法。

### III. 分析類神經網路內部運作 (Probing the Network)
A. 人眼觀察 (Observation)。
B. 探測 (Probing) 技術。
C. 案例研究：語音辨識模型 (TTS 還原實驗)。

---

### I. 介紹可解釋機器學習 (Explainable Machine Learning, Explainable AI)

* **Explainable AI 的目標**：可解釋機器學習（Explanable Machine Learning）的目的是讓機器提供得到答案的理由。
* **Explainable AI 的重要性與動機**：
* **漢斯效應 (Clever Hans)**：機器即使能得到正確答案，也不代表它真的很聰明。神馬漢斯只靠偵測圍觀人類的情感變化來判斷何時停止敲馬蹄，而非真的解數學題。
* **現實應用需求**：在許多真實應用中，可解釋性是必須的。例如，銀行使用機器學習模型來判斷是否貸款給客戶時，法律規定必須給出理由。
* **關鍵領域**：在醫療診斷或法律判案（如協助法官判斷犯人能否假釋）等關鍵領域，需要知道模型是否公正或判斷背後的理由，因為這些涉及人命或潛在的歧視問題。
* **改進模型**：未來希望藉由理解模型犯錯的原因和位置，能有更有效率的方法來改進模型，而不只是盲目調整超參數。
* **模型的權衡 (Trade-off)**：
* **Linear Model**：具有較強的解釋能力（可輕易透過特徵權重得知運作），但能力不夠強大。
* **Deep Learning Model**：能力強大，但難以解釋，通常被視為「黑盒」。
* **觀點比較**：堅持使用容易解釋但較不強大的模型，就像只在路燈下找鑰匙，可能錯失真正強大的模型。Explainable AI 的目標是讓強大的模型也能變得可解釋，而非放棄它們。
* **Interpretable vs. Explainable**：通常 **Interpretable** 指的是模型本身就不是黑盒（如線性模型），而 **Explainable** 則是指對本來是黑盒的物體賦予解釋能力。
* **Decision Tree**：比線性模型強大且非常 Interpretable。但實際應用中常使用 **Random Forest** (多棵決策樹共同決定)，這使得整體模型難以解釋。
* **Explainable AI 的終極目標**：
* **缺乏明確目標**：Explainable AI 的目標不明確，沒有像準確率或錯誤率那樣清晰的 Leaderboard 可供評估。
* **心理學實驗啟示**：一項心理學實驗（影印機排隊）顯示，人們接受請求的程度取決於是否有提供「理由」，即使理由是「因為我需要先印」這種顯而易見的內容。
* **核心目標**：好的解釋是**讓人接受的解釋** 。Explainable AI 的技術進展往往傾向於產生令人滿意的結果，讓客戶或老闆感到高興。

### II. 局部解釋 (Local Explanation) 技術

* **定義**：針對單一輸入（例如一張圖片）進行分析，回答「為什麼你覺得這張圖片是一隻貓？」這類問題。
* **基礎原則**：
* **組件的重要性 (Component Importance)**：輸入 $X$ 可拆分成多個組件 ($X_1$ 到 $X_n$)。若移除或改造某個組件後，網路輸出的變化巨大，則該組件越重要。
* **技術一：遮擋法/擾動法**：在圖片上不同位置放上灰色方塊（遮擋），觀察網路輸出（例如貓的機率）的變化，以判斷哪個區域是模型判斷的關鍵。
* 範例：將灰色方塊移到博美狗的臉上時，辨識結果會改變，但在周圍移動則不會。
* **技術二：Saliency Map**：
* **計算方式**：透過計算每個像素 $x_n$ 對損失函數 $L$ 的偏微分 $\frac{\partial L}{\partial x_n}$。偏微分的值越大，表示該像素的小變動對損失函數的影響越大，即該像素越重要。
* **輸出結果**：Saliency Map 上亮白色的點代表越重要的像素。
* **範例**：辨識水牛時，類神經網路的注意力集中在水牛身體上，而非背景的草地或竹子。
* **例子：寶可夢與數碼寶貝分類器**：
* **實驗結果**：一個訓練好的分類器在測試資料集上準確率高達 98.4%。
* **Saliency Map 揭示的真相**：Saliency Map 顯示，機器判斷的關鍵點集中在影像的四個角或背景上。
* **結論**：機器並非學會了動物特徵，而是學會了資料集中的**假性關聯**（artifact）。例如，寶可夢圖可能都是 PNG 檔，背景是透明的，而數碼寶貝圖背景顏色不同。這說明 Explainable AI 技術對於檢查模型是否真正學到正確的知識是必要的。
* **Saliency Map 的改進方法**：
* **SmoothGrad**：通過在原始圖片上加入多種微小雜訊，並對計算出的多張 Saliency Map 進行平均，以減少雜訊，使結果更集中、更符合人類觀感。
* **Integrated Gradient (IG)**：為了解決單看梯度可能遺漏重要特徵的問題（例如鼻子的長度在長到一定極限後，其梯度可能趨近於零，但鼻子仍是判斷大象的關鍵特徵）。IG 是一種更進階的方法，具體細節在影片中未詳述。

### III. 分析類神經網路內部運作 (Probing the Network)

* **目標**：了解網路如何處理輸入並得出答案。
* **人眼觀察 (Observation)**：
* **降維**：將高維度的神經元輸出（例如 100 維向量）降到二維平面上進行觀察和分析。
* **語音範例 (Hinton 2012)**：語音辨識模型在第八層的輸出，能夠將不同人說的、但內容相同的句子（儘管原始聲學特徵距離很遠），聚合在一起，這顯示網路學會了內容辨識。
* **注意力機制 (Attention)**：雖然直覺上 Attention 具有解釋力，但文獻上對於 Attention 是否總是可以被解釋，仍是一個持續研究的議題。
* **探測 (Probing) 技術**：
* **定義**：訓練一個獨立的分類器（探針/Prober），將網路中間層的特徵（Feature）作為輸入，來判斷這些特徵中是否包含了特定資訊。
* **範例**：訓練一個 POS (Part-of-Speech) 分類器，用 BERT 的 Embedding 作為輸入，若分類器準確率高，則表示該 Embedding 中包含豐富的詞性資訊。
* **使用警惕**：必須謹慎使用探針，因為探針分類器本身的訓練結果（準確率）可能受到訓練不好等因素影響，不能貿然下結論。
* **TTS Probing 案例 (語音合成探針)**：
* **實驗設計**：訓練一個 TTS (Text-to-Speech) 模型，使其輸入是網路某一層的 Embedding，目標是還原原始的聲音訊號。
* **結果**：如果網路學會了去除說話者（語者）的特徵，TTS 模型將無法還原語者特徵。
* **語音辨識模型結果**：通過五層 LSTN 後，還原出的聲音會失去語者特徵，男女聲變得一樣。這證明了語音辨識模型在訓練過程中，確實學會了抹去語者特徵，只保留內容。
* **雜訊過濾**：在另一個例子中，網路在第一層 LSTN 開始過濾掉背景雜訊（如鋼琴聲），顯示雜訊是在這一層被濾掉的。

### 【機器學習2021】機器學習模型的可解釋性 (Explainable ML) (下) –機器心中的貓長什麼樣子？] 大綱

### I. 全局解釋 (Global Explanation) 的定義與目標
A. 定義：分析模型內部參數，找出模型對某類別（如「貓」）的抽象理解。
B. 與局部解釋的區別：不針對特定輸入分析。

### II. 分析類神經網路的內部組件：Filter 視覺化
A. 目標：找出能**最大化**特定 Filter 輸出（Feature Map Value）的圖片 ($X_{star}$)-。
B. 方法：將 $X$ 視為未知變數，使用**梯度上升 (Gradient Ascent)** 進行優化。
C. 應用案例：MNIST 上的卷積層 Filter 視覺化 (偵測筆劃或基本 Pattern)。

### III. 類別視覺化 (Class Visualization) 及其挑戰
A. 目標：尋找使某一特定類別的**信心分數最高**的輸入圖片 $X$。
B. 結果與挑戰：單純最大化 $Y_i$ 得到的 $X$ 往往是一堆**雜訊 (noise)**，而非人眼可辨識的物體。
C. 解決方法一：**加入額外限制 (Constraints)**

1. 限制 X 必須像人想像的數字符號。
2. 例如：透過限制圖片中白色點的數量（模擬筆劃）來增加圖片的可辨識度。
3. 文獻上的清晰圖片往往需要大量限制和超參數調校。
D. 解決方法二：**使用生成器 (Generator)**
1. 流程：利用 Image Generator (G) 產生 $X_{star}$，其輸入 $Z_{star}$ 來自低維度向量。
2. 優勢：Generator 產生的圖片會落在訓練資料的流形 (manifold) 內，故結果更清晰可辨。
E. **Explainable AI 的傾向**：產生令人滿意的解釋，而非揭示機器真實的黑箱運作。

### IV. 替代性的 Explainable AI 方法：模型模仿 (Model Mimicry)
A. 概念：使用一個**可解釋的**簡單模型（如線性模型）來模仿**複雜的**黑箱模型（如神經網路）的行為-。
B. 實例：**LIME** (Local Interpretable Model-agnostic Explanations)-。

---

### I. 全局解釋 (Global Explanation) 的定義與目標

* **定義**：全局解釋 (Global Explanation) 並非針對某一張特定的照片進行分析。
* **目標**：是將訓練好的模型拿出來，根據其參數，檢查**類神經網路心裡想的**某一類別（例如一隻貓）究竟長什麼樣。

### II. 分析類神經網路的內部組件：Filter 視覺化

* **Filter 在 CNN 中的角色**：在卷積神經網路 (Convolutional Neural Network, CNN) 中，每個卷積層 (convolutional layer) 都有多個 **Filter**。
* **Feature Map**：當圖片 $X$ 作為輸入時，每個 Filter 會輸出一個 Feature Map。如果某個 Filter 的 Feature Map 裡面的值較大，表示圖片 $X$ 中包含很多該 Filter 負責偵測的 **Pattern**。
* **尋找 $X_{star}$**：為了知道 Filter 1 想要看什麼樣的 Pattern，我們需要製造一張圖片 $X$，使 $X$ 丟入網路後，**Filter 1 對應的 Feature Map 輸出值 ($A_{ij}$ 總和) 越大越好**-。
* **優化方法**：我們將 $X$ 視為要訓練的參數（未知變數），透過類似於梯度下降 (Gradient Descent) 的**梯度上升 (Gradient Ascent)** 方式，來找到能夠最大化輸出值的 $X_{star}$。
* **MNIST 案例**：對手寫數字辨識 (MNIST) 訓練的分類器，視覺化其第二層卷積層的 Filter。
* **結果**：每個 $X_{star}$（對應於每個 Filter）看起來像是在偵測**基本的筆劃**（如橫線、斜線、直線）。這顯示卷積層的工作是偵測構成數字的筆劃。

### III. 類別視覺化 (Class Visualization) 及其挑戰

* **最大化類別分數**：目標是找到一張圖片 $X$，使其丟入 Image Classifier 後，某一特定類別（例如數字 $i$）的輸出分數 ($Y_i$) 越高越好。
* **單純最大化的結果**：如果僅執行此步驟，得到的 $X$ 往往是**一堆雜訊 (noise)**，完全不像數字。
* **原因**：這與**對抗性攻擊 (adversarial attack)** 的原理相似，機器在看到人類肉眼看不到的奇特雜訊時，也會以極高信心分數誤判為某一類別。
* **引入限制 (Constraints)**：為了解決雜訊問題，必須在優化過程中**加入更多限制**（例如 $R(X)$），用來衡量 $X$ 像不像一個數字符號-。
* **範例**：可以加上限制，讓圖片中**白色點（筆劃）的數量越少越好**。加入這些限制後，圖片會更接近人類想像的樣貌。
* **挑戰**：文獻上展示的清晰視覺化結果（如單頂鶴、甲蟲）需要操作者**對圖片有深入的理解**，並加入**大量的限制**和**超參數調校**才能實現。
* **使用生成器 (Generator) 進行優化**：
* **概念**：訓練一個 Image Generator (G)，讓它從低維度向量 $Z$ 產生圖片 $X$（即 $X = G(Z)$）。
* **流程**：尋找一個 $Z_{star}$，讓 $G(Z_{star})$ 產生的 $X$ 丟入 Classifier 後，其目標類別分數 ($Y_i$) 最大化-。
* **結果**：透過 Generator 限制，生成的圖片 $X_{star}$ 必然是**比較像樣的圖**，因為它被限制在訓練資料所能產生的空間內。例如，可以產生清晰的螞蟻或火山照片。
* **Explainable AI 的本質傾向**：講師認為，現今 Explanable AI 的技術發展往往傾向於解讀出**令人類看起來開心、滿意的解釋**，而不是探究機器真正的運作方式，因為機器真實的心中想像可能就是雜訊-。

### IV. 替代性的 Explainable AI 方法：模型模仿 (Model Mimicry)

* **概念**：這是另一大類的 Explainable AI 技術，目的是使用一個**簡單且可分析 (interpretable)** 的模型（例如線性模型）去模仿一個**複雜的黑箱模型**（如神經網路）的行為-。
* 如果簡單模型能成功模仿黑箱模型的決策，分析簡單模型即可推測黑箱模型的作用。
* **挑戰**：由於簡單模型的能力通常不如複雜的類神經網路，它不可能模仿黑箱模型的**全部行為**。
* **LIME (Local Interpretable Model-agnostic Explanations)**：這類方法通常只要求簡單模型（如線性模型）去模仿黑箱模型在**一小塊區域內 (local)** 的行為和決策-。

### 【機器學習2021】概述領域自適應 (Domain Adaptation) 大綱

### I. 領域適應 (Domain Adaptation) 的動機與問題
A. 訓練資料與測試資料分佈不一致：**Domain Shift**。
B. Domain Shift 的挑戰：模型準確度急劇下降（例如黑白轉彩色數字辨識）。
C. Domain Adaptation 是 **遷移學習 (Transfer Learning)** 的一種形式。

### II. 領域漂移的類型
A. 類型一：輸入資料的分佈不同 (Input Distribution Change)。
B. 類型二：輸出機率的分佈不同 (Output Distribution Change)。
C. 類型三：輸入與輸出之間的關係改變。
D. 本課程專注於輸入資料的分佈不同。

### III. 領域適應的常見情境與方法
A. Source Domain (來源域) vs. Target Domain (目標域) 的定義。
B. 情境一：目標域資料有少量標註 (Labeled Target Data)。
1. 方法：在 Source Model 上進行**微調 (Fine-tuning)**。
2. 限制：需小心避免在少量資料上**過度擬合 (Overfitting)**。
C. **情境二：目標域資料無標註 (Unlabeled Target Data) 且資料量大 (核心焦點)**。
1. 目標：找到一個**特徵提取器 (Feature Extractor)**，使源域和目標域的特徵分佈趨於一致。

### IV. 領域對抗訓練 (Domain Adversarial Training, Domain Adversarial Training)
A. 模型的架構：特徵提取器 ($F$)、標註預測器 ($P$)、領域分類器 ($D$)。
B. 訓練目標：
1. $P$ 確保源域分類正確。
2. $F$ 充當 **Generator**，試圖**欺騙** $D$。
3. $D$ 充當 **Discriminator**，試圖正確區分特徵來自源域還是目標域。
C. 損失函數的關係：$F$ 最小化 $L_L - L_D$ (最小化分類損失，最大化領域分類損失)。
D. 實際效能：Domain Adversarial Training 在領域漂移問題上能顯著提升準確度。

### V. Domain Adversarial Training 的挑戰與進階概念
A. 挑戰：特徵對齊的品質 (避免不同類別的特徵混在一起)。
B. 優化策略：讓無標註資料遠離決策邊界（最大化單一類別的信心分數）。
C. 進階領域適應：

1. Universal Domain Adaptation：源域與目標域類別標籤集不一致。
2. Testing Time Training (TTT)：目標域資料極少（甚至只有一張）且無標註。
3. Domain Generalization (DG)：對目標域一無所知。

---

### I. 領域適應 (Domain Adaptation) 的動機與問題

* **訓練與測試的差異**：我們通常期望訓練好的機器學習模型（例如圖片分類器）可以直接應用於測試資料。但在許多基準測試 (benchmark) 中，訓練資料與測試資料被假設具有**相同的分佈**，這會給人一種「人工智慧非常厲害」的錯誤印象。
* **Domain Shift**：如果訓練資料（Source Domain）和測試資料（Target Domain）的分佈不一致，就會發生 Domain Shift。
* **影響**：當 Domain Shift 發生時，模型的準確度會急劇下降。
* **案例**：在黑白數字圖片上訓練的模型，若直接用於彩色數字圖片上測試，準確度會從極高（例如 99.5%）降至**只有 57%**。
* **Domain Shift 的目標**：找到方法讓在源域訓練出的模型，在目標域上也能有比「什麼都不做」更好的表現。
* **Domain Shift 的歸類**：領域適應可以視為**遷移學習 (Transfer Learning)** 的其中一個環節。遷移學習是指將在 A 任務上學到的技能用於 B 任務上；Domain Shift 則是將從一個領域 (Domain) 學到的知識用於另一個領域。
* **Domain Shift的類型**：
* **輸入分佈變化**：模型輸入資料的分佈有變化。
* **輸出分佈變化**：輸出類別的機率分佈有變化。
* **關係變化**：輸入和輸出之間的關係 (P(Y|X)) 改變，例如在源域中被標註為 0 的東西，在目標域中卻被標註為 1。
* 本課程主要專注於**輸入資料分佈不同**的領域漂移。

### II. 領域適應的常見情境與方法

在 Domain Adaptation 的情境中，我們通常有**來源域 (Source Domain)** 的資料（有標註的訓練資料）以及**目標域 (Target Domain)** 的資料（測試資料所在的領域）。

1. **情境一：目標域資料有少量標註**
* 如果目標域資料有標註，即使數量很少，可以利用這些資料**微調 (Fine-tune)** 在來源域上訓練好的模型。
* **注意事項**：因為目標域資料量少，必須小心避免過度擬合 (Overfitting)。解決方案包括調小學習率 (learning rate)。

2. **情境二：目標域資料無標註且資料量大（Unsupervised Domain Adaptation）**
* 這是一個符合現實應用的情境，例如模型上線後，可以收集到大量的未標註用戶數據。
* **基本概念**：我們需要找到一個**特徵提取器 (Feature Extractor, $F$)**，它能提取出源域和目標域**共同的、本質的特徵**，同時捨棄領域間不一致的部分（例如，過濾掉彩色資訊）。
* 目標是讓來源域圖片丟進 $F$ 得到的特徵 (Feature) 和目標域圖片丟進 $F$ 得到的特徵，兩者的分佈**看不出差異**。

### III. 領域對抗訓練 (Domain Adversarial Training)

* **模型拆解**：一個圖片分類器 (Image Classifier) 可以被拆分為兩個部分：**特徵提取器 ($F$)**（例如前幾層）和**標註預測器 ($P$)**（例如後幾層）。
* **訓練目標**：
1. **標註預測器 ($P$)**：接收 $F$ 輸出的特徵，並期望在來源域資料上有正確的分類結果（標準的有監督訓練）。
2. **特徵提取器 ($F$)**：目標是產生特徵，使 $P$ 仍能正確分類，同時讓這些特徵**無法被領域分類器區分**。
* **領域分類器 ($D$) 的引入**：訓練一個二元分類器 ($D$)，它的輸入是 $F$ 提取的特徵向量，目標是判斷該向量是來自 Source Domain 還是 Target Domain。
* **對抗遊戲 (Adversary Game)**：
* $F$ 充當 **Generator**，試圖欺騙 $D$。
* $D$ 充當 **Discriminator**，試圖正確區分特徵的來源。
* 如果 $F$ 能成功欺騙 $D$，就代表 $F$ 提取的特徵已經成功地將兩個領域的分佈拉近，使其難以區分。
* **$F$ 的約束**：$F$ 不能只輸出一個零向量來無腦地欺騙 $D$，因為 $F$ 輸出的特徵還必須提供足夠的資訊給 $P$ 進行正確的分類。
* **損失函數（符號表示）**：
* $P$ (參數 $Z_P$) 最小化分類損失 $L_L$。
* $D$ (參數 $Z_D$) 最小化領域分類損失 $L_D$ (正確區分來源)。
* $F$ (參數 $Z_F$) 最小化 $L_L - L_D$。最小化 $L_L$ 確保分類正確，同時最小化 $L_L$ **減去** $L_D$ (等同於最大化 $L_D$) 迫使 $F$ 產生 $D$ 無法分辨的特徵。
* **Domain Adversarial Training 的成效**：在黑白與彩色數字的領域漂移案例中，未使用 Domain Adversarial Training 的準確度為 57.5%，使用 Domain Adversarial Training 後可**飆升至 81%**。

### IV. Domain Adversarial Training 的進階挑戰與情境

* **特徵對齊的品質**：僅僅讓源域和目標域的特徵分佈整體接近是不夠的，必須避免將不同類別的特徵混淆在一起（例如將目標域的 0 號特徵與源域的 1 號特徵對齊）。
* 在圖示中，右邊的對齊（同類特徵對齊）比左邊的對齊（跨類別混淆）更好。
* **優化目標**：雖然目標域資料沒有標籤，但可以希望這些無標註的特徵向量經$P$預測後，**遠離決策邊界**（即輸出結果高度集中在某個類別上，最大化信心分數），這有助於避免類別混淆。
* **進階技術舉例**：文獻中提到 **DirTDT** (Deep Reconstruction Classification for Domain Adaptation) 和 **Maximum Classifier Discrepancy** 等複雜方法來優化特徵空間。

* **Universal Domain Adaptation**：
* Domain Adversarial Training 假設源域和目標域具有完全相同的類別標籤。
* 如果兩個領域的類別標籤集不一致（例如一個有老虎、獅子、狗，另一個只有老虎和狗），硬性對齊所有特徵可能導致分類性能下降。
* 解決此問題可參考 **Universal Domain Adaptation** 相關文獻。

* **Target Domain 資料量極少的狀況**：
* 如果目標域資料極少，甚至只有一張無標註圖片，將無法進行分佈對齊。
* 解決方案：**Testing Time Training (TTT)**，在測試的當下對模型進行訓練和調整。

* **Domain Generalization**：
* 當對目標域**一無所知**時，問題轉變為 Domain Generalization。
* **Domain Generalization 情境一**：訓練資料本身就包含多個不同的領域（例如有真貓、素描貓、水彩貓的圖片），讓模型學習如何忽視領域差異。
* **Domain Generalization 情境二**：訓練資料只有一個領域。此時需要透過 **Data Augmentation** 等方式，人工產生多個領域的資料來進行訓練。

[【機器學習2021】01~02 機器學習和深度學習基本概念簡介](https://hackmd.io/@JuitingChen/SyoNXkdslx)
[【機器學習2021】03~08 機器學習任務攻略和最佳化技巧](https://hackmd.io/@JuitingChen/BJ6mXy_slg)
[【機器學習2021】09~11 CNN 和 Self attention](https://hackmd.io/@JuitingChen/r1ahLgUngl)
[【機器學習2021】12~13 Transformer](https://hackmd.io/@JuitingChen/H1tfXy_ige)
[【機器學習2021】14~17 GAN](https://hackmd.io/@JuitingChen/S1adiwvhxg)
[【機器學習2021】18~21 自監督式學習](https://hackmd.io/@JuitingChen/ryQG7J_sgl)
[【機器學習2021】22~23 Auto-encoder](https://hackmd.io/@JuitingChen/r1sLPr92ge)
[【機器學習2021】24~25 Adversarial Attack ](https://hackmd.io/@JuitingChen/HJ6jJIq3ge)
[【機器學習2021】26~28 Explainable ML 和 Domain Adaptation](https://hackmd.io/@JuitingChen/SJZzQkdslg)
[【機器學習2021】29-30 強化學習-1](https://hackmd.io/@JuitingChen/HJYziZR3gx)
[【機器學習2021】31~33 強化學習-2](https://hackmd.io/@JuitingChen/Sy5DoWA3xl)
[【機器學習2021】34~35 機器終身學習](https://hackmd.io/@JuitingChen/BytWmyuilg)
[【機器學習2021】36~37 神經網路壓縮 ](https://hackmd.io/@JuitingChen/Bk7-m1_jlx)
[【機器學習2021】37~40 Meta Learning](https://hackmd.io/@JuitingChen/SkkC6rT2gl)