Conservative-Progressive Collaborative Learning for Semi-supervised Semantic Segmentation

Siqi Fan, Fenghua Zhu, Zunlei Feng, Yisheng Lv, Mingli Song, Fei-Yue Wang

Introduction

SSL技術主要有兩種典型的作法，Entropy minimization和consistency regularization，兩種做法都仰賴於pseudo supervision，導致不正確的pseudo label產生confirmation bias，大部分方法為了解決此問題而使用預測分數(設立threshold)來選擇可信賴的pseudo label，這樣的作法可能使大量的unlabel data資源被浪費。

Teacher-Student和Student-Student是兩種典型的double branch學習方式，Student-Student訓練時的兩種網路結構容易有模型偶合的問題產生，導致錯誤的結果和限制性。
作者提出Conservative-Progressive Collaborative Learning (CPCL)，平行使用兩種相同結構的網路但使用不同初始值，Conservative只使用高質量的pseudo label做intersection(交集) supervision; Progressive則使用大數量的pseudo label做union supervision。藉由這兩個網路的預測結果生成pseudo label，且兩個網路是在相異知識下進行訓練，因此可降低偶合的問題。
除此之外預測結果的信心值被使用在 loss re-weighting當中，為了解決不可避免的noisy pseudo labels。

Contribution

• CPCL在使用union supervision保留相異部份時也透過intersection supervision尋找共通點已達成保守評估和進步挖掘兩方面的合作，且由與兩個網路結構在相異知識下訓練的性質可有效解決耦合問題。
• 使用class-wise的不一致指標用來產生不一致部分的pseudo label，且基於信心值對loss做re-weighting，避免noise pseudo label造成的錯誤太巨大

Framework

Problem Definition

$D_l=\{(X_l^1,G^1),...,(X_l^N,G^N)\},$

$N$為label data數量

$D_l=\{(X_u^1),...,(X_u^M)\},$

$M$為unlabel data數量，且

$M\gg N$

$X_l^n,X_u^m\in {\mathbb{R}}^{H\times W},G^n\in {\mathbb{R}}^{C\times H\times W}$

label data使用傳統的supervised方式做訓練，此篇論文著重將unlabel data

$D_u$在兩個相同結構但不同初始值的

$f_{\theta c}(X)$和

$f_{\theta p}(X)$做訓練

Data augmentation

作者採用srtong augmentation的cutmix方式，將任兩張圖片做隨機區塊裁切上

$mix(a,b,mask)=(1-mask)\cdot a+mask\cdot b$

$X_s=mix(X_1,X_2,mask),$ 取得強化後的

$X_s$
兩個網路分支的前處理近乎相同，首先會先輸入三張影像

$(X_1,X_2,X_s)$，以

$f_{\theta c}(\cdot )$來舉例:

$Y_{cw}^1\leftarrow arg\underset{y}{m}ax{f}_{\theta c}(y|X_1)$

$Y_{cw}^2\leftarrow arg\underset{y}{m}ax{f}_{\theta c}(y|X_2)$

$Y_{cs}\leftarrow arg\underset{y}{m}ax{f}_{\theta c}(y|X_s)$

接著利用

$Y_{cw}^1$及

$Y_{cw}^2$做cutmix，取得

$Y_{cw}$ :

$Y_{cw}=mix(Y_{cw}^1,Y_{cw}^2,mask),$

相同作法也在Progressive分支下取得

$Y_{ps}$及

$Y_{pw}$，利用

$Y_{cw}$及

$Y_{pw}$來生成pseudo label

pseudo label generation

$agreement=\{\begin{array}{c}True{y}_{cw}^i=y_{pw}^i\\ Falseotherwise\end{array}$
根據每個pixel判斷若經由兩網路結果相等則此pixel為agreement，否則為disagreement

Agreement

$I_a^i=y_{cw}^i,if{y}_{cw}^i=y_{pw}^i$

$I_a^i$ 為agreement

$L_a$部分的第i個pixel，

$L_{inter}$ 直接使用

$L_a$當作pseudo label

Disagreement

先計算出class-wise的pseudo label指標，上圖的矩陣縱軸及橫軸分別為不同網路預測的結果，

$M_{j,k}$為A網路預測結果為第j類別及B網路預測結果為第k類別的pixel總數量，對角線綠色區塊為agreement的預測類別數量，紅色為disagreement

$I_d^i$ 為第i個pixel最後的pseudo label，A網路預測的class為j；B網路預測為k，根據計算出來的指標若

$I_j\ge I_k$，選擇

$y_{cw}^i$ 作為該pixel的pseudo label，

$I_j\le I_k$，則選擇

$y_{pw}^i$