###### tags: `2022Q1技術研討`, `detection` # Causal Intervention for Weakly Supervised Semantic Segmentation ### 前導知識 CAM(Class Activation Map) 了解一個執行圖像分類任務的 CNN 在它自身的網路裡是因為看重照片中的哪一個區域 ![](https://esgarden.esunbank.com.tw/personal/esb21788/Documents/%E6%96%B0%E8%B3%87%E6%96%99%E5%A4%BE/causal.PNG) ![](https://esgarden.esunbank.com.tw/personal/esb21788/Documents/%E6%96%B0%E8%B3%87%E6%96%99%E5%A4%BE/causal1.PNG) https://medium.com/ai-academy-taiwan/%E4%BA%86%E8%A7%A3-cnn-%E9%97%9C%E6%B3%A8%E7%9A%84%E5%8D%80%E5%9F%9F-cam-%E8%88%87-grad-cam-%E7%9A%84%E4%BB%8B%E7%B4%B9%E5%88%86%E4%BA%AB-2206dd1017c8 ### 因果推論和干預 ![](https://esgarden.esunbank.com.tw/personal/esb21788/Documents/%E6%96%B0%E8%B3%87%E6%96%99%E5%A4%BE/causal2.PNG) 從這個例子來看,會有性別服藥比例不同的混雜因子存在 這個時候就要發動因果干預,後門準則 - 後門準則 满足: - Z中没有X的後代節點。 - 以Z为條件阻斷所有X和Y之間的後門路徑,Z满足關於(X,Y)的後門準則 ![](https://esgarden.esunbank.com.tw/personal/esb21788/Documents/%E6%96%B0%E8%B3%87%E6%96%99%E5%A4%BE/causal3.PNG) ![](https://esgarden.esunbank.com.tw/personal/esb21788/Documents/%E6%96%B0%E8%B3%87%E6%96%99%E5%A4%BE/causal5.PNG) ![](https://esgarden.esunbank.com.tw/personal/esb21788/Documents/%E6%96%B0%E8%B3%87%E6%96%99%E5%A4%BE/causal4.PNG) https://blog.csdn.net/ms961516792/article/details/115872083 ### Introduction 動機:Segmentation標註非常耗人力,希望從week label(Bounding Box、Scribble、Point、**Image-level class label**) - pipeline ![](https://esgarden.esunbank.com.tw/personal/esb21788/Documents/%E6%96%B0%E8%B3%87%E6%96%99%E5%A4%BE/causal6.PNG) 但是只用Image-level class label去推 pseudo-Mask通常是很不準的 ![](https://esgarden.esunbank.com.tw/personal/esb21788/Documents/%E6%96%B0%E8%B3%87%E6%96%99%E5%A4%BE/causal7.PNG) 那要怎麼做到 P(sofa∣do(X)) ?? ### Method X: input image C: class-specific average mask M: imagespecific representation using the contextual from C Y: labels ![](https://esgarden.esunbank.com.tw/personal/esb21788/Documents/%E6%96%B0%E8%B3%87%E6%96%99%E5%A4%BE/causal9.PNG) ![](https://esgarden.esunbank.com.tw/personal/esb21788/Documents/%E6%96%B0%E8%B3%87%E6%96%99%E5%A4%BE/causal8.PNG) ![](https://esgarden.esunbank.com.tw/personal/esb21788/Documents/%E6%96%B0%E8%B3%87%E6%96%99%E5%A4%BE/causal11.PNG) ![](https://esgarden.esunbank.com.tw/personal/esb21788/Documents/%E6%96%B0%E8%B3%87%E6%96%99%E5%A4%BE/causal10.PNG) ### Experiments ![](https://esgarden.esunbank.com.tw/personal/esb21788/Documents/%E6%96%B0%E8%B3%87%E6%96%99%E5%A4%BE/causal12.PNG)