---
title: 進度報告
---

## 本學期進度

- 轉換研究方向，由原先的CNN體系更改為Transformer體系
- 確立論文研究方向
- Transformer結合CNN進行Token生成
- 將原先研究的CNN attention 強化特徵提取之特性結合進Transformer結構
- 改善原有的Transformer attention 降低其運算量
- 科技部計畫

## code部分

### 完成部分

- Convolution token embeding

- Residual Separable Convolution
- Merge SE-block


- Fastformer

## 論文部分

- related work (部分)

## 寒假進度

1/15-1/30 survey 線性Attention(NLP、CV)、完成部分論文(introduction、related work、method)
1/31-2/6 春節
2/7-2/28 寫完線性Attention的code