Transformer 李宏毅深度學習

tags: Deep Learning, Transformer, , seq2seq, Attention

筆記內容參考於：https://youtu.be/ugWDIIOHtPA

RNN：

• 是最經典的處理Sequence的模型，單向RNN或雙向RNN等等。
• RNN的問題：難以平行處理=>就有人提出用CNN取代RNN

CNN取代RNN：

• CNN filters：每一個三角形代表一個filter輸入為seq的一小段，輸出一個數值（做內積得到），不同的filter對應seq中不同的部分。
• 每一個CNN只能考慮有限的內容，RNN能考慮一整個句子
• 考慮很長的句子：疊很多層CNN，上層的filter就可以考慮較多資訊，因為上層的filter會把下層的filter的輸出當作輸入
• 問題：必須疊很多層才有辦法做到考慮較長的句子，因此出現了self-attention機制

Self-Attention Layer

目的

• 想取代RNN原本想做的事情，輸入輸出同RNN，可以輸入sequence輸出sequence
• 跟雙向RNN有同樣能力，可以先偷看過整個sequence，但特別的是
  $b^1,b^2,b^3,b^4$是同時處理的，不需要一個算完才能算下一個
• 可以完全取代RNN

以前用RNN發表過的paper已經全部被使用self-attention機制洗一輪了…Li

Attention機制（參考自[4]）

核心思想：

• 用三元組
  $<Q,K,V>$ 代表注意力機制，表示Query和Key的相似性，再根據相似性賦予Value的取值

公式：

Self-attention 思路（本文）

• input:
  $x_1,...,x_4$，是一個sequence
• 每一個輸入先通過一個embedding，乘上一個權重矩陣變成
  $a_1,...,a_4$，把
  $a_1,...,a_4$丟進Self-attention layer
• 每一個輸入都乘上不同的vector:
  $q,k,v$
• $q$：query(為了去匹配其他人)
  • $q_i=W_q{a}_i$
• $k$：key（為了被匹配）
  • $k_i=W_k{a}_i$
• $v$：value 被抽取出來的資訊
  • $v_i=W_v{a}_i$
• 權重
  $W_q{W}_k{W}_v$是訓練出來的，一開始隨機初始化

方法

1. 拿每個query q去對每個key k做attention（吃兩個向量， 輸出一個分數），其實就是計算q.k的相似度Similarity。
   • Scaled Dot-Product :
     $S(q_1,k_1)$得到
     ${\alpha }_{1,1}$，
     $S(q_1,k_2)$得到
     ${\alpha }_{1,2}$…
   • ${\alpha }_{1,i}=q_1\mathrm{・}{k}_i/\sqrt{d}$
   • d代表q和k的dimension，只是論文中作者使用的小技巧
2. 再做Softmax normalization(歸一化)
3. 把得到的
   $\hat{\alpha }$與
   $v$相乘得到
   $b$，相當於做weighted sum
4. 上圖中得到的
   $b_1$就是所求sequence的第一個vector（word或character）
5. 每個output vector都用了整個sequence的資訊

===

Self-attention 平行化處理

$q_i=W_q{a}_i$

$k_i=W_k{a}_i$

$v_i=W_v{a}_i$

1. 把
   $a_1,...,a_4$當作一個矩陣
   $I$，與權重矩陣
   $W_q$相乘得到
   $q_1,...,q_4$，當作一個矩陣
   $Q$。相同的矩陣
   $K,V$也是同樣方式，由
   $q,k$和
   $a$相乘得來的
2. ${\alpha }_{1,1}=k_1^T．q_1$
   
   ${\alpha }_{1,2}=k_2^T．q_1$
   …
   所以把
   $k_1,...k_4$疊一起變成矩陣
   $K$，同乘以
   $q_1$
   也把
   $q_1,...q_4$疊一起變成矩陣
   $Q$，得到
   $\alpha$集合成的矩陣
   $A$，就是Attention，做Softmax後變成
   $\hat{A}$
3. 每一個time step中，兩兩vector之間都有attention

4. 計算V、A hat的weighted sum，就得到b，b集合成的矩陣就是輸出的矩陣
   $O$

Self-attention Layer做的事情

轉換成矩陣乘法，就可以使用GPU來加速運算了

Multi-head Self-attention

以2 heads為例

• 2個head就是把
  $q,k,v$分裂成兩個
  $q,k,v$，而
  $q_{i,1}$只會跟
  $k_{i,1}$相乘得到
  ${\alpha }_{i,1}$，最後計算出
  $b_{i,1}$
• 最後把
  $b_{i,1},b_{i,2}$concat起來，乘上一個transform，做降維得到最終的
  $b_i$

每個head所關注的資訊不同，有的只關心local資訊（鄰居的資訊），有個只關心global（較長時間）資訊等等。

Positional Encoding

天涯若比鄰

在注意力機制中，輸入句子的詞的順序如何是沒差的。

• 沒有位置資訊=>所以有一個唯一的位置向量
  $e_i$，不是學出來的而是人設置的。
• 其他方法：使用one-hot encoding表示的
  $p_i$為
  $x_i$表示其位置

Seq2seq with Attention

原始seq2seq2 model由兩個RNN分別組成了Encoder、Decoder，可以應用於機器翻譯。

上圖中原本Encoder裡面是雙向RNN，Decoder裡面是一個單向RNN，下圖把兩個都用Self-attention layer取代，可以到達一樣的目的而且可以平行運算。

細看Transformer Model

Encoder的部分

1. Input通過Input Embedding，考慮位置資訊，加上人為設置的Positional Encoding，進入會重複N次的block

2. Multi-head：進到Encoder裡面，他是Multi-head Attention的，也就是q,k,v有多個，在裡面做qkv個別乘以a的運算，算出
   $\alpha$ 最後得到
   $b$

3. Add & Norm（[3]殘差連接residual connection）：把Multi-head attention的input
   $a$和output
   $b$加起來得到
   $b^{\prime }$，再做[1]Layer Normalization
4. 計算完後丟到前向傳播，再經過一個Add & Norm

Decoder的部分


1. Decoder input為前一個time step的output，通過output embedding，考慮位置資訊，加上人為設置的positional encoding，進入會重複n次的block
2. Masked Multi-head Attention：做Attention，Masked表示只會attend到已經產生出來的sequenc e，再經過Add & Norm Layer
3. 再經過Multi-head Attention Layer，attend到之前Encoder的輸出，然後再進到Add & Norm Layer
4. 計算完丟到Feed Forward前向傳播，再做Linear和Softmax，產生最終輸出

Attention Visualization

single-head

文字倆倆之間的關係，線條越粗代表關聯越深

Multi-head

用不同組的q.k配對出來的結果有所不同，代表不同組的q.k擁有不同資訊（下面local or 上面global）

應用

Summarizer By Google

input為一堆文檔，output為一篇文章（summarize）

Universal Transformer

橫向（時間上）是Transformer，縱向是RNN

Self-attention GAN

用在影像生成上

參考資料

[1]. Layer Norm https://arxiv.org/abs/1607.06450 不需要考慮batch，希望各個不同維度的資料平均=0，變異數=1，一般來說Layer Norm會搭配RNN使用

[2] Batch Norm https://www.youtube.com/watch?v=BZh1ltr5Rkg 對同一batch中不同data做normalization，希望平均數=0，變異數=1

[3] Residual Connection 殘差連接：將輸出表示成輸入和輸入的非線性變換的線性疊加