# [PAPER] Weakly Supervised Contrastive Learning for Chest X-Ray Report Generation

:::info
**Author** : Mingkai Zheng, Fei Wang, Shan You, Chen Qian, Changshui Zhang, Xiaogang Wang, Chang Xu

**Paper Link** : https://arxiv.org/abs/2110.04770

**Code** : https://github.com/mingkai-zheng/WCL
:::

## Content
* This paper proposes a new framework called Weakly Supervised Contrastive Learning (WCL) to address the class collision problem in existing contrastive learning methods. WCL assumes that similar instances share the same weak label and uses a graph-based method to determine these weak labels. The framework also includes a K-Nearest Neighbor based multi-crops strategy to provide more diverse information. The proposed method achieves state-of-the-art performance for contrastive learning based methods, even with only 1% and 10% labeled samples.
----

#### **Abstract**
* 방사선 사진에 대한 설명을 자동으로 생성하는 의료 보고서 생성은 머신러닝과 의료 커뮤니티 모두에서 주목을 받고 있습니다.
* 방사선 이미지에서 Descriptive text를 자동으로 생성하는 것을 목표로 하며, 방사선 보고 및 해석을 개선할 수 있는 연구를 제시합니다.
* 기존의 연구 설정의 문제는 대부분의 데이터가 normal finding으로, 임상진단에 유익한 문장을 생성하는데 어려움 및 한계가 있습니다
* 이러한 문제를 해결하기 위해서 "Weakly supervised contrastive loss"를 활용하여 임상 진단 보고서를 생성합니다.

#### **Introduction**
* Previous Research
* Deep learning(image captioning)
* Show and Tell: A Neural Image Caption Generator [paper](https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Vinyals_Show_and_Tell_2015_CVPR_paper.pdf)
* On the Automatic Generation of Medical Imaging Reports [paper](https://arxiv.org/pdf/1711.08195.pdf)
* etc

이전 연구에서 방사선 보고서 생성의 문제점(**image caption VS reference caption**)은 much longer with multiple sentence 그리고 information selection, releation extraction, content ordering

* Weakly supervised contrastive loss 모델을 활용한다면, 보고서 생성 결과에 improve
* understand content, identify abnormal position, wording to describe findings
* 특히, 대조 프레임 워크에서 부정적(hard)를 활용하여, 임상적 정확도에 대한 성능이 향상된 높은 품질의 보고서를 생성할 수 있습니다.

* **Contribution**
* we propse a novel objective for training a chest X-ray report generation model with a contrastive term, which contrasts target reports with incorrect ones during training.
* We develop a weakly supervised method to identify "hard" negative samples and assign them with higher weights in our contrastive loss to further encourage diversity.
* We conduct comprehensive experiments to show the effectiveness of our method, which outperforms existing methods on both clinical correctness and text generation metrics.
-------

#### **Releated Work**
Medical Report Generation and Contrastive Learning

1. Medical Report Generation
* co-attention hierarchical CNN-RNN model.
* used hybrid retrieval-generation models to complement generation
* learn visual semantic embeddings for cross-modal retrival in a contrastive setting
* 위 연구가 identifying abnormal findings에 효과적인 것을 보여주게 되었다.
* However, 새로운 데이터 세트에 대한 비정상 문장을 템플릿으로 구축해야 하기 때문에 확장하거나 일반화하기 어렵습니다.
* Generating radiology reports via memory-driven transformer. [paper](https://arxiv.org/pdf/2010.16056.pdf)
* 메모리 증강 트랜스포머 모델을 활영하고 길고 일관성 있는 텍스트를 생성하는 능력을 개선했지만, 지배적인 정상 결과를 생성하는 문제를 구체적으로 다루지 않았습니다.
* **위의 문제를 해결하고자 대조 학습을 훈련에 통합하여, 다양성을 장려하고 검색 기반 방식에 비해 확장이 용이하다는 이점이 있습니다.**

2. Contrastive Learning
* A simple framework for contrastive learning of visual representations [paper](http://proceedings.mlr.press/v119/chen20j.html)
* 우리는 Representation을 잠재 공간으로 변환하는 위 연구에서 영감을 얻은 최근 대조 형식을 활용하고 의료 보고서 생성 작업에 대한 새로운 학습 목표를 제안한다.

#### Method