---
# System prepended metadata

title: Permeet 0513

---

---
title: Permeet 0513
date: May,13
---

## Paper reading

### [A CONVLSTM-COMBINED HIERARCHICAL ATTENTION NETWORK FOR SALIENCY DETECTION ](https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9190788&tag=1)(ICIP 2020)

### 目的: 將attention的概念應用在SALIENCY DETECTION上
### 貢獻: 提出了ConvLSTM架構

### 整體架構: 

![](https://i.imgur.com/PKwVkLb.png)

###  Spatial-wise attention mechanism(SA)

![](https://i.imgur.com/BuVNksI.png)

#### ConvLSTM

![](https://i.imgur.com/toFjl0v.png)

###  Block-wise attention mechanism

![](https://i.imgur.com/4FV9Oyr.png)

### 目前問題

1.還沒看很懂Block-wise attention 的部分
2.過去也有一些稱作ConvLSTM的結構，不確定是否一樣

### [RepVGG: Making VGG-style ConvNets Great Again](https://arxiv.org/pdf/2101.03697.pdf)

### 目的: 深入探討VGG
### 貢獻: 僅用$Conv 3 * 3$和 $ReLu$堆疊就造就出了強大的網路

### 特點: 
1. 在訓練後使用re-parameterization 
2. 沒有使用automatic search等複雜的結構演算法
3. 沒有任何的分支結構

### 整體架構: 

![](https://i.imgur.com/yk4dHP2.png)


### 目前問題

最重要的概念就是re-parameterization，但這部分有點抽象，目前在搭配code理解

## 農業計畫

有加入背景label，還在跑

## 下周進度

### Paper
1.理解block-wise attention的意義並思考是否有地方能夠參考的
2.希望能理解re-parameterization(可能GM會報這篇)

### 農業
1.測試訓練完的模型

### 研究部分
1.參考ResNeSt block 改寫結構
2.討論目前規劃想要實驗的幾個結構(參考SE、SK、ResNeSt)