# BertGeneration

## 基本情報
- date
2019/7/29
- doc
https://huggingface.co/docs/transformers/model_doc/bertgeneration
- arxiv
https://arxiv.org/abs/1907.12461
- 引用数(2021/12/04)
138

## 内容
Seq2Seqのモデルであり、BERT、GPT-2、RoBERTaのチェックポイント(モデルのパラメータ)を使用可能なモデル。機械翻訳・要約・文章分割・文章結合でSOTA達成。
_<center><img src="https://i.imgur.com/ZDnM01I.png" width="250px"/><br>変換可能なモデルと各パラメータ数</center>_
- RND2RND
Transformerのエンコーダ・デコーダともに全ての重みを乱数で初期化したもの。
- BERT2RND
エンコーダにBERTのもの、デコーダに乱数で初期化したものを使用。埋め込み行列は同一のものを使用。
- RND2BERT
エンコーダに乱数で初期化したもの、デコーダにBERTのものを使用。自己回帰デコードを行うために、マスクを使用して片方向attentionにした。
- BERT2BERT
encoder-decoder attentionのみ乱数で初期化
- BERTSHARE
BERT2BERTに対して、encoder-decoder attentionも共有するもの
- ROBERTASHARE
BERTSHAREのRoBERTa版
- GPT
GPT-2の学習済みパラメータを利用したもの
- RND2GPT
エンコーダに乱数で初期化したもの、デコーダにGPT-2のものを使用。
- BERT2GPT
エンコーダにBERTのもの、デコーダにGPT-2のものを使用。BERT用入力埋め込み行列と、GPT-2用出力埋め込み行列が存在。
- ROBERTA2GPT
エンコーダにRoBERTのもの、デコーダにGPT-2のものを使用。RoBERT用入力埋め込み行列と、GPT-2用出力埋め込み行列が存在。

### 文章結合
_<center><img src="https://i.imgur.com/ZDCuiX0.png" width="250px"/><br>変換後の文章結合タスクの評価。</center>_
ROBERTA2GPT、ROBERTASHAREが最も高い結果となった。

### 分割・言い換え
文章結合タスクの逆として、長い一文を2つ以上の身近い文に分割・言い換えるタスクがある。今回はそのタスク検証のために、1MコーパスからなるWikiSplitデータセットを用いた。
_<center><img src="https://i.imgur.com/JCDa3rj.png" width="250px"/><br>変換後の文章結合タスクの評価。BLEUはcorpus-level BLEUのこと。</center>_

### 機械翻訳
英語⇄ドイツ語翻訳タスク(WMT 2014)を行った。
_<center><img src="https://i.imgur.com/f6w8dfw.png" width="600px"/><br>翻訳タスクの結果。GPTは主に英語で学習しており、語彙も英語のみであるため、性能が発揮できないため、灰色で記載。</center>_

### 文章要約
_<center><img src="https://i.imgur.com/T6MJp4L.png" width="600px"/><br>Gigaword CNN/Dailymail・BBC・XSumデータセットにおける、文章要約の結果</center>_
BERTのエンコーダを利用した全てのモデルは、RND2RNDの性能を大きく上回った。
decoderのみのモデルに比べて、encoder-decoderのモデルは文章レベルの抽象化に長けている。
また、違うパラメータの利用(例:BERT2GPTなど)は要約タスクには効果的ではない。

## BERT2GPT
BERT2GPTは性能があまり高くないもしくは劣ることが多かった。入力と出力に別々の辞書が二つあるために、双方の語彙を学習しなければならないことが原因であると考えられる。これは英語のみを学習したGPTをデコーダにもつBERT2GPTが、英語⇄ドイツ語翻訳を解く際に、英語→ドイツ語が、ドイツ語→英語に対して大きく劣ることからもみてとれる。
_<center><img src="https://i.imgur.com/8gl601W.png" width="400px"/><br></center>_
## 人間による要約品質の評価
- 重要な情報をとらえているか
- 英語として適正な形をとっているか
の観点から、-1~1により評価した。
_<center><img src="https://i.imgur.com/hkHmZLk.png" width="400px"/><br>人間による評価結果</center>_

本論文の実験後にXLNetが発表されたたため、今XLNetでも同様の実験をする予定。

## ひとこと
モデル間のパラメータシェア系の論文を読んだことはありますが、ここまで複数パターン網羅されているのは読んだことなかったです。