# BARTpho
## 基本情報
- date
2021/9/20
- doc
https://huggingface.co/docs/transformers/model_doc/bartpho
- arXiv
https://arxiv.org/abs/2109.09701
- 引用数(2021/12/05)
0

## 内容
ベトナム語の初めてのseq2seq事前学習言語モデル。特にテキスト生成に対して強力。
今回提案するモデルは二つあり、
- $BART_{phoword}$
7シラブルで書かれた文
- $BART_{phosyllabl}$
4単語で書かれた文

145M文からなるPhoBERT pre-training corpusより学習。

ベトナム語を学習データに含むmBERTより精度が良い。

BARTとは違い、$λ = 3.5$のポアソン分布でtextinfillingをサンプリングした。

_<center>
<img src="https://i.imgur.com/AbAOofe.png" width="300px"/><br>ROUGE スコアの結果</center>_

## ひとこと
*BART、*BERTってデータセットが違うだけかなと思っていましたが、パラメータの微調節や言語ごとの微調節が入っていて興味深いなと思いました。