# [論文筆記] Attention U-Net: Learning where to Look for the Pancreas
###### tags: `Attention UNet` `Biomedical Image` `Segmentation` `UNet`

## 摘要、引言
原先使用大量CNN的UNet或FCN，都耗費大量運算資源在低階特徵的重複萃取上，
因而引入可端到端訓練的「注意力」模組，常被使用於自然圖像分析和自然語言處理的領域中。
- 提出嶄新的attention gate(AG) model 可以學習在不同形狀、尺寸的圖片中更專注於目標區域，
使網路能更著重於局部區域的特徵，抑制不相干的區域。

- AG可輕易融合進CNN中，運用極少的計算量即可帶出模型準確度、敏感度的提升。

注意力模組被用於執行特定類別的池化(pooling)，從而促進更準確、強大的圖像分類效能。

## 軟注意力和硬注意力(Soft and Hard attention)
- 硬注意力的工作原理是透過「**迭代候選區域(iterative region proposal)**」和「**裁剪(cropping)**」，這些方式通常皆為不可微分的，且須仰賴強化學習來進行參數更新，進而造成模型訓練上的困難。

*註: 候選區域: 預先找到圖中目標的可能位置，利用影像中各類資訊，如:顏色、邊緣、紋理，進而確定在使用較少窗格的前提下，能保持較高的IoU(Intersection-over-Union)*

- 軟注意力則是有機率性的，在不需要採用蒙地卡羅取樣的情況下即可使用標準的反向傳播。由Seo等人提出的軟注意力方法，展示出透過非均勻、非剛性的注意圖(attention map)，能更佳符合在真實圖像中之自然物體的形狀

*註: 蒙地卡羅取樣方法:
https://medium.com/%E6%95%B8%E5%AD%B8-%E4%BA%BA%E5%B7%A5%E6%99%BA%E6%85%A7%E8%88%87%E8%9F%92%E8%9B%87/%E6%8A%BD%E6%A8%A3%E8%88%87%E8%92%99%E5%9C%B0%E5%8D%A1%E7%BE%85-%E4%BA%8C-%E8%92%99%E5%9C%B0%E5%8D%A1%E7%BE%85%E6%96%B9%E6%B3%95%E8%88%87%E9%87%8D%E8%A6%81%E6%80%A7%E6%8A%BD%E6%A8%A3-7558764151b9*
## 在Attention UNet有什麼新穎的地方?
1. **Architecture**
$F_n$: filters / $N_c$: number of classes
- 和UNet的區別在於decoder，再進行decode前從encoder提取的部份進行注意力閘(AG)，重新調整encoder的輸出特徵。
- AG在這裡形成一個門控訊號，用以控制局部區域特徵的重要性。

2. **Attention gates**
為了提高切割的效能，Khened等人和Roth等人仰賴其他先前用於物件地位化(Object localisation)的模型，來分離定位化和後續的分割步驟。然而，這種方式可以在基於UNet架構下使用 注意力閘(AG)來實現，完全不需訓練其他的模型。
因此，將注意力閘整合進UNet可以改進模型對前景像素的靈敏度和準確度，且不須額外的運算資源，也顯示出注意力閘(AG)可以抑制無關背景區域中的特徵響應。
注意力閘(AG)在串接操作前使用；來自背景區域的梯度會在反向傳播的過程中降低權重，而這使得在先前幾層的模型參數基於與任務相關的空間區域去更新。

- 跳躍連接和準備上採樣的權重圖經過1x1x1的捲積後，通過ReLU再1x1x1捲積，再通過Sigmoid函數，形成一個權重圖$\alpha$，最後再乘上原來準備上採樣的權重圖，得到輸出。
- 注意力係數可使再我們希望取得的目標區域得到更大的值，也抑制背景區域的值，進而達到提高影像切割準確度提高的效果。

3. Grid-based gating
與Jetley等人[11]的注意力機制類似，使用基於網格的門閘方式(Grid-based gating)，可讓注意力係數在局部區域更明確化。
4. Soft-attention technique
加性的軟注意力被用於句子間的翻譯( Bahdanau等人, Shen等人) 和影像分類(Jetley等人, Wang等人)，儘管這耗費相當大量的運算資源，但Luong等人[19]的研究顯示出"加性"的軟注意力相比於"乘性"的軟注意力，達到更高的準確率。

## 實作
The best jacard index: 0.7081808251045321
- **易:**

- **中等:**

- **比較表:**

參考網址: https://codertw.com/%E7%A8%8B%E5%BC%8F%E8%AA%9E%E8%A8%80/458939/#outline__1_1
https://arxiv.org/abs/1606.02393