##### tags: `Paper` `CVPR` `SDC-UDA` `Unsupervised Learing`
# [SDC-UDA](https://openaccess.thecvf.com/content/CVPR2023/papers/Shin_SDC-UDA_Volumetric_Unsupervised_Domain_Adaptation_Framework_for_Slice-Direction_Continuous_Cross-Modality_CVPR_2023_paper.pdf): **切片向連續 (SDC) 無監督模型 (UDA)**

*(斜體是先備知識)*

#### *# 無監督域自適應 (Unsupervised Domain Adaptation, UDA)*
[Information of UDA from here](https://blog.csdn.net/u014655960/article/details/130554309)
**[Information of Domain Generalization from here (Hot in 2022, TKDE)](https://zhuanlan.zhihu.com/p/354740610)**
[I like this!! (DG Github)](https://github.com/jindongwang/transferlearning/tree/master/code/DeepDG)

*與遷移學習相關。*
***域**由特徵空間與邊際機率分布組成，訓練集與現實的數據可能會有「特徵空間差異」或「邊際機率分布差異」，應用域自適應，可以降低數據間差異造成的準確度下降影響。*
>*以下是三個與 領域自適應 (Domain Adaptation, DA) 相關的問題：*
>
>* *多域學習 (Multi-domain Learning)：同一來源的數據不足時，需要和多個來源的數據一起訓練，但可能母群不同，要使它們能互相促進提高 accuracy，而非被彼此的雜訊干擾。*
>* ***領域泛化 (Domain Generalization, DG)**：自不同數據分布的數據集中學習泛化能力強的模型，並在未知的測試集取得好效果。但不等於 DA，差異在於 DA 訓練時能訪問測試集，DG 不行。DG 更具有挑戰性與實用性。*
>* *遷移學習 (Transfer Learning)*
>
>*DA 是一類特殊的遷移學習。*
#### 1. 摘要：想要拿到很好的像素級專家標註很貴，他們也沒有很多時間做精確的標註，所以無監督訓練用在這裡很讚。因此他們提出簡單又效果好的 SDC-UDA，它是立體無監督模型框架，用於**切片向連續跨模態醫學影像分割 (Slice-Direction Continuous cross-modality medical image segmentation, SDC)**，它結合了**切片內和切片間自注意力圖像轉換 (Intra- and Inter-slice Self-attentive Image Translation)**、**不確定性約束偽標籤細化 (Uncertainty-constrained Pseudo-label Refinement)**和**立體自訓練 (Volumetric Self-training)**。

<p style="color:red">
<b> 它透過醫學影像 3D 的結構特性，證實 Slice-Direction 上的連續性很重要。</b>
</p>

#### 2. 內容：
* **Intra- and Inter-slice Self-attention Module**：
-目的：**提高切片方向的平滑度**並**保存切片所合成體積的結構完整性**，比將 slice 重建為 3D 後再進行後處理，如切片方向差值，效果更好。並且是接下來的 self-training for volumetric segmentation 步驟的必要前置作業。
-作法：它是一種利用鄰切片資訊的像素級域轉換法 (Pixel-level Domain Translation Method)


> Picture Summary :
> -N : Slices
> -B : Batch
> -Patchify : 將圖切為 Patches 並重建圖像塊。
> 每次切一個 mini-volume 下來，包含三個 slices，目標 slice t 以及前後的 slice t-1 和 slice t+1，encoder 之後餵進去 Intra- & Inter- Slice Attention Module，然後再 decoder 組回去。

* **Volumetric Self-training with Uncertainty-constrained
Pseudo-label Refinement**：
-目的：儘管通過自注意力模組，還是需要補全源訓練數據和真實數據之間的分布差異。所以先創造偽標籤，並使用**體積自訓練 (volumetric self-training)**，**自適應地提高偽標籤的準確性**。
-作法：透過**不確定性約束偽標籤細化模組 (Uncertainty-constrained
Pseudo-Label Refinement Module)**，並列地進行**靈敏度 / 特異性細化**，最後可以選擇兩種模組結果都用，也能只用一種。

![uncertainty-constrained
pseudo-label refinement module](https://hackmd.io/_uploads/BJcmngDgT.png)

> Picture Summary :
> -Segmentation Network : 論文中叫它 Teacher Segmentation Network，是用來做出偽標籤的。
> -Uncertainty-constrained Pseudo-Label Refinement Module : 依據圖片強度、當前偽標籤與高不確定性區域 (High-uncertainty Region)，並透過它提升偽標籤的準確度。
> 計算 Uncertainty Map(Entropy Map)，即可得知 High-uncertainty Region。如果高不確定性區域內的像素強度和偽標籤很像(在閾值內)，就納入偽標籤中(靈敏度細化)；如果偽標籤內的某像素強度超出閾值，就從偽標籤中剔除。

#### 3. 評價：該無監督式學習和全監督式學習相比，Dice 只低了 6 左右，比其他無監督式學習方法高 30-40 不等，完全壓倒性勝利；在心臟結構的資料集上表現更是只低全監督式學習 0.1。

<p style="color:red">