---
title: 2023/09/21
tags: meeting # 簡報的標籤
slideOptions: # 簡報相關的設定
theme: black # 顏色主題
transition: 'fade' # 換頁動畫
spotlight:
enabled: true
---

我們比較使用 homogeneous backbone 和 heterogeneous backbone 的差別。使用 homogeneous backbone 時，我們選用 efficientnet_b0 作為我們的 backbone，我們總共使用八個 backbone 來衡量模型表現，八個 backbone 皆使用相同的訓練參數，唯一不同的點在於訓練時的學習率不一致，對於第 $i$ 個 backbone，我們使用 $0.0001*i$ 作為訓練時候的學習率。heterogeneous classifier 則使用同上次 CIFAR10 的 $K=8$ 實驗數據。我們在 CIFAR10 上面比較結果，為了能夠有效衡量模型預測差異，我們使用 variance 方式衡量

$$
\text{Var}_{p(f)}[\textbf{f}(x)] = \frac{1}{C}\sum_{i=1}^C\text{Var}_{p(f)}[f^{(i)}(x)]
$$

其中，$f^{(i)}$ 表示第 $i$ 個類別的預測機率，我們假設 $p(f)$ 為均勻分配，也就是傳統的多數決機率加總方法。

我們將結果列在下圖


XY 座標分別表示 sample variance 以及 sample variance 的 density，我們可以看到 heterogeneous classifier 的方差整體表現比 homogeneous 還大。

另外，我們也檢測在經過我們方法訓練前後方差有沒有改變


圖中橘色線表示使用我們的方法訓練，且 backbone 為 homogeneous classifier，我們可以發現，我們的方法也可以有效的提高模型方差，也就是使得不同 backbone 關注於影像的不同語義特徵