# What Makes Instance Discrimination Good For Transfer Learning?

## Abstract
### 背景
* 基於instance discrimination的contrastive visual pretraining 效果很好
* 最近unsupervised pretraining也超越了supervised pretraining，甚至其實image labeling不要做反而會有更好的transfer效果
### 調查的方向
1. image discrimination pretraining為什麼效果好？
2. 主要是哪些知識（knowledge）被學習以及轉移？
3. 如何更有效的利用label資料？
### 結果
1. 主要是low-level and mid-level representation被轉移
2. 傳統supervised learning造成的intra-category invariance（盡量讓同類的相近）會造成transfer的misalignment（上游下游任務中間出現gap，上游是pretrain，下游是target）
3. supervised learning可以利用examplar-based approach被強化，這個方法不會去限制同類之間的instance之間的關係。（拉近拉遠等等）

ps. invariance是指，不管圖片被做了什麼處理，機器都要能正確辨認出物體

## Inrtoduction

### 段落重點
1. labels might be unhelpful and perhaps harmful for transfer learning
2.
* 相同catagory的instance會被拉近，反之拉遠
* invariance都是在low-level中被encoded（我理解是invariance這件事是low-level負責的），所以才能在high-level visual concept有好的generalization
3. contrastive 和supervised都會因為image augmentation而有更好的結果，但contrastive會更依賴low-level augmentation，所以如果有好的augmentation，supervied仍會佔上風。（ps.augmentation在contrastive learning很重要）
4.
* 普遍認為high-level semantic information是影響transfer learning的關鍵
* nono
* pretraing中high-level semantic information不管和target data有沒有對應其實沒什麼差
* 但是在合成的圖片做pretrain（low-level properties和實際圖片差很多）transfer效果會變很差
* 得：low-level and mid-level representation才是重點
* 而且即使是用小的資料集做pretrain，效果也不會差太多
5.
* 如果去做contrastive和supervised 做 reconstruction會發現，後者會注重在discriminative part（能分辨不一樣的地方），前者的結果會比較完整。
* supervised比contrastive更敏感，如果沒有做好localiztion transfer效果會不好

### 總結
1. high-level semantic info不是transfer的重點
2. 想要去分辨不同的類別可能會在轉移後出現misalignment

**因為拉近拉遠造成的問題**：喪失同類instance間的多樣性以及資訊，可能這些資訊在下游任務中很重要。

只要出現上下游任務間的gap，就要注意是否有overfitting在supervised invariances（我理解是某些資訊被吃掉了導致資料多樣性很少，所以overfit）

提出的方法：在做supervised的時候，把不同的拉遠，但是相同的不要做任何動作。

**實驗：** few-shot image recognition, facial landmark prediction
## 借放一下