---
# System prepended metadata

title: 2023/09/21
tags: [meeting]

---

---
title: 2023/09/28
tags: meeting   # 簡報的標籤
slideOptions:        # 簡報相關的設定
  theme: black   # 顏色主題
  transition: 'fade' # 換頁動畫
  spotlight:
    enabled: true
---

我們同上次的實驗使用 homogeneous classifier (efficientnet b0)，為了研究不同的 classifier 對於模型表現的影響，我們使用 MHA (multi-head attention) 來取代傳統的全連接層，以下是我們的做法

1. 得到 $K$ 個 backbone 的輸出特徵向量，有大小 $c$ (output channels)
2. 連接 $K$ 個向量，大小為 $(K,c)$，記做 $X$
3. 我們設定 $(Q,K,V)$ 皆為 $X$ (query, key, value) 皆為 $X$ 向量
4. 通過 attention 得到輸出後，reshape 大小成 $(Kc)$
5. 通過全連接層得到最後輸出

下表是模型表現

| Model   | MHA | FC |
| ------- | --------- | --------- |
| Model 2 | 0.8401    | 0.842     |
| Model 3 | 0.847     | 0.8497    |
| Model 4 | 0.8577    | 0.8569    |
| Model 5 | 0.8685    | 0.8619    |
| Model 6 | 0.8651    | 0.8669    |
| Model 7 | 0.8702    | 0.8694    |
| Model 8 | 0.8739    | 0.8691    |

整體模型表現並沒有顯著上升，我們認為 classifier 並不重要
