Learning pseudo labels for semi-and-weakly supervised semantic segmentation

Pattern Recognition2022
Authors: Yude Wang, Jie Zhang, Meina Kan, Shiguang Shan

Introduction

Semi-and-weakly supervised semantic segmentation簡稱SWSSS，意旨所有data都有label，差在於label的程度不同。

每個pixel都帶有label的資訊，稱為strong labeled data

每張圖只帶有image class資訊，稱為weakly labeled data

作者認為現今SWSSS領域有三種路線:

1. 簡單將少量strong labeled data與大量weak labeled data結合起來訓練，在訓練中pixel-level supervision的方式佔主導地位，最後導致模型嚴重偏向strong labeled data(overfitting)
2. 直接採取weakly supervised semantic segmentation方式，基於CAM作image-level的學習，但由於CAM生成的pseudo label邊框較不準確，可能導致模型因錯誤的pseudo label參與訓練造成效能下降。
3. 著重在設計模型以防止錯誤的pseudo label影響訓練，然而這種模組的設計方面往往受到許多限制。

作者將semi-and-weakly supervised semantic segmentation分解成兩部分，一塊是pseudo label的生成，一塊是模型的再訓練，本篇論文針對pseudo label的生成提出有效的改動方法。

Contribution

• 作者改動原本的cross entropy提出class-aware cross entropy(CCE)的loss function，可以更有效區分同時出現的class分佈
• 作者提出PCT方式可動態計算預測分數並挑選好的模型作為teacher給另一個模型作supervised訓練

Class-aware cross entropy (CCE)

傳統的cross entropy需仰賴大量pixel label才可有效區分每個class，不符合SWSSS的只有少量pixel-level label情況，且因pixel-level label本身可以無負擔的轉換成image-level label，作者提出利用每個data本身帶有的image-level label去過濾掉不存在在圖中的class，如左半邊的分佈圖所示，此方式可有效區分同時出現的class分佈。

若能使用image-level label資訊過濾掉不存在途中的class，則可更容易幫助模型作pixel-level label的預測，例如以上圖例對於狗的毛皮若有多種class則難以分辨是甚麼動物的毛，若能過濾到只剩背景及狗兩種類別則可讓模型預測更準確。

f(.)代表network；X = f(Image)

以上式子為傳統的cross entropy作pixel-wise的計算，利用下列式子:

將原先pixel-level label轉為image-level label形式，並加入算式中

若不存在的class則其預測結果不會被列入計算

Binary cross entropy for image-level labeled data

對image-level label的訓練採用Binary cross entropy的方式:

Progressive cross training method(PCT)

Hybrid-Net採用交雜訓練方式，同時訓練pixel-level及image-level兩種lebel data。

Hybrid-to-Pseudo (H2P) training:

Pseudo-Net利用Hybrid-Net生成的pseudo label做pixel-level的訓練

Pseudo-to-Hybrid (P2H) training:
Hybrid-Net反過來利用Pseudo-Net生成的pseudo label訓練，利用Pseudo-Net的預測結果評估信賴分數作為權重，控制P2H對訓練過程的影響。

Ji是一般mIOU的計算方式，在每次訓練過程持續做更新

若class不存在此圖中則不會被列入考慮，最終選取存在圖中最低的mIOU作為控制權重

Framework