---
title: 2023/09/28
tags: meeting # 簡報的標籤
slideOptions: # 簡報相關的設定
theme: black # 顏色主題
transition: 'fade' # 換頁動畫
spotlight:
enabled: true
---

我們同上次的實驗使用 homogeneous classifier (efficientnet b0)，為了研究不同的 classifier 對於模型表現的影響，我們使用 MHA (multi-head attention) 來取代傳統的全連接層，以下是我們的做法

1. 得到 $K$ 個 backbone 的輸出特徵向量，有大小 $c$ (output channels)
2. 連接 $K$ 個向量，大小為 $(K,c)$，記做 $X$
3. 我們設定 $(Q,K,V)$ 皆為 $X$ (query, key, value) 皆為 $X$ 向量
4. 通過 attention 得到輸出後，reshape 大小成 $(Kc)$
5. 通過全連接層得到最後輸出

下表是模型表現

| Model | MHA | FC |
| ------- | --------- | --------- |
| Model 2 | 0.8401 | 0.842 |
| Model 3 | 0.847 | 0.8497 |
| Model 4 | 0.8577 | 0.8569 |
| Model 5 | 0.8685 | 0.8619 |
| Model 6 | 0.8651 | 0.8669 |
| Model 7 | 0.8702 | 0.8694 |
| Model 8 | 0.8739 | 0.8691 |

整體模型表現並沒有顯著上升，我們認為 classifier 並不重要