# Transformer Notes

Sequence-to-sequence (Seq2seq)

輸入一段句子，輸出一段句子，輸出句子長度由機器決定。

E.g. Speech recognition, Machine translation, Speech translation ...

* 台語語音翻譯系統


自然語言處理通常都可以用 Sequence-to-sequence 的模型去進行類似 Q&A 的使用

但自行為特定任務訓練模型效果會更佳

## Seq2seq for Syntactic Parsing

語句文法剖析 [Grammar as Froeign Language](https://arxiv.org/abs/1412.7449)


## Seq2seq for Multi-label Classification

在物件中，每個物件有一至數個 class。輸入一篇文章，機器決定輸出 class 數目跟類型。


## Seq2seq for Objection Detection


## Encoder

給一排向量，輸出一排向量

Encoder 當中 block 需要坐多層 layer 的事情，包括

input layer 使用 self-attention 輸出 $a$，並加上原先輸入 vector $b$

運用 **layer normalization**，計算同一個 example 同一個 feature 不同 dimension

mean $m$ 跟 standard deviation $\sigma$

> **Batch normalization** 計算同一個 dimension 不同的 feature 不同 example
mean $m$ 跟 standard deviation $\sigma$

layer normalization 的輸出就是 fully connected network 的輸入，

之後 layer normalization 輸出再與 fully connected network 輸出相加

最後再經過一次 layer normalization，才得到 encoder 當中每層 block 的輸出


而此 encoder 設計可以更改，

下方也提供為何要使用 layer normalization 不使用 batch normalization 的原因


## Decoder

把 encoder 輸出讀入 decoder

Begin 代表開始

Decoder 經過 Softmax 並給予分數再輸出 E.g. 單詞出現機率 (長度為常見方塊字數目)

接下來 decoder 輸入除了 Begin 還有剛才 decoder 輸出 (E.g. 機)，重複上述操作，以此類推


Self-attention $\rightarrow$ Masked Self-attention

後者不考慮接下來 input 的資訊，$a^1$ 不考慮 $a^2, a^3, a^4$，$a^2$ 不考慮 $a^3, a^4$ 以此類推

Decoder token 是接連產生的，並非平行產生，類似文字接龍

要讓 Decoder 要在方塊字新增 **END** 來停止 Decoder 繼續執行產生 sequence


### Decoder-None-autoregressive (NAT)

NAT 透過一連串 BEGIN 當作輸入，平行化輸入

並透過另一個 predictor 或是觀察 output 哪個輸出 END(在 END 後的 token 忽略) 決定輸出長度

但 NAT 效能不如 AT (原因 Multi-modality)

### Cross attention



下一步產生 token "機" 時的步驟


cross attention 的方式不唯一，不一定要由 encoder 最後一層當作 decoder 輸入

> Teacher forcing: use ground truth as input

最後希望結果 cross-entropy 越小越好


其中 decoder 的輸入是 ground truth

## Tips

### Copy Mechanism

Chat-bot

複製 decoder 的 input，從使用者的輸入作為輸出

Summarization

文章摘要 (document $\rightarrow$ Model $\rightarrow$ summary)

### Guide Attention

要求機器去做 attention 時有固定方式


### [Beam Search](https://ithelp.ithome.com.tw/articles/10208587)

用比較有效率的方式，找到 decoder 最佳解，但不見得會幫助到模型

如果模型輸出結果固定，有助於 decoder，反之，若需要有創造力，結果不固定則 decoder 結果不佳


Exposure bias: 訓練時的資訊為正確，但測試時會有錯誤資訊

給 Decoder 錯誤的資訊來訓練可以解決，Scheduling sampling