# NLP（Natural Language Processing)

## Plan
* ### Outline
単語や文章の**分散表現**の獲得にまつわる話

* ### Word2Vec, Doc2Vec
代表的な分散表現獲得のモデルについて

* ### Seq2Seq ( Attention )
Sequence to Sequence の話。文章の入力から文章を出力するモデル。ここで初めて**Attention**が登場する。

* ### Transformer
「Attention is all you need」のタイトルで有名な論文の話。これをどこまで話せるかがミソ...

* ### ELMo ( Embeddings from Language Models )
文脈を加味した単語の分散表現獲得モデル。BERTが出る少し前に出て、結構流行った。面白そうなCNNの使い方をしているので勉強してみたい

* ### BERT ( Bidirectional Encoder Representations from Transformers )
BERTを理解せずしてNLPは語れない。とはいえどこまで理解できるか...