# General knowledge
###### tags: `Reid`

# Knowledge Distillation
- 
- 由teacher模型先訓練好權重後，再抽取（蒸餾）精華作為student模型的訓練教材，這個晢取出的精華是指訓練好的參數權重。

# Self-Supervised
- https://zhuanlan.zhihu.com/p/125721565
- 
- SSL is equivalent to supervised learning with pseudo labels
- 自監督學習能避免註釋大型數據集帶來的成本，即採用自定義pseudo-labels作為監督
- 集成了generative方法和contrastive方法
- 就是輸入的是一堆無監督的資料，但是通過資料本身的結構或者特性，人為構造標籤（pretext）出來
- 

* 什麼是Self-Supervised Learning
- 主要的方式就是通過自己監督自己
- ex: 將圖片的一些部分去掉，依賴其周圍的信息去預測缺失的patch
- 特點:
- 對於一張圖片，機器可以預任何的部分
- 對於視頻，可以預測未來的幀
- 每個樣本可以提供很多的信息
* Self-Supervised Learning分成兩種
- Generative Methods
- 要求模型能夠重建原始輸入
- 需要pixel-level 上進行重建
- Contrastive Methods
- 希望模型能夠在特徵空間上對不同的輸入進行分辨
- 類方法不用在pixel-level 上進行重建，所以優化變得更加容易
* Self-Supervised Learning learning
- 
- 

# Contrastive Learning
- (1) 同張圖片，通過不同data augmentation的互相拉引；與(2) 不同圖片的互相推離
- GAN，已經是不錯的結果，但訓練不容易：（a）不收斂；（b）鑑別器過於成功而無法繼續學習。contrastive learning (CL)是discriminative方法

# Transformer
- In CV
- 純Transformer
- 混合型：(CNNs+ Transformer)
-

# embedding
- 是一個將離散變量轉為連續向量表示的一個方式
- 線性轉換