# 機械学習勉強会 第2回 2020-03-15 (Sun) 13:00 - ## テーマ Word2Vec 1. 原論文 - Efficient Estimation of Word Representations in Vector Space - https://arxiv.org/abs/1301.3781 1. 解説論文 - word2vec Parameter Learning Explained - https://arxiv.org/abs/1411.2738 ### 担当分け 1. Continuous Bag-of-Word Model - 解説論文の 1 章 - 原論文の 3 章 1 節 1. Skip-Gram Model - 解説論文の 2 章 - 原論文の 3 章 2 節 1. 損失関数の近似手法 - Hierarchical Softmax - 解説論文の 3 章 1 節 - Negative Sampling - 解説論文の 3 章 2 節 1. 実験結果 - 原論文の 4 章 - 原論文の 5 章 1. 他手法との比較・結論・展望 - 原論文の 2 章 - 原論文の 6 章 - 原論文の 7 章 ### 所感 - 分布仮説 (Distributional hypothesis) - 「単語の意味はその単語が出現した際の周囲の単語によって決まる」という仮説 - Word2Vec のアイデアはこの仮説に基づいている - Harris, Z.: Distributional structure, Word, Vol. 10, No. 23, pp. 146-162（1954） - Word2Vec の構造 - モデル - Continuous Bag-of-Word (CBoW) - Skip-gram - 損失関数の近似手法 - Hierarchical Softmax (階層型ソフトマックス) - Negative Sampling - Skip-gram と Negative Sampling の組み合わせで利用されることがほとんど - 使い道 - 単語の類似度を計算 - 他分析の前処理に利用 - Deep Learning における Embedding Layer の初期値に利用 - 「文章内の各単語ベクトルの平均をとる」等を行い、文章ベクトルを作成 - ロジスティック回帰、サポートベクターマシン、ニューラルネットワークなどに文章ベクトルを入力 - 文章の類似度を計算 - 文章検索等に利用 - Word Mover's Distance - gensim の Word2Vec Model の wmdistance 関数から利用できる - あらかじめ `pip install pyemd` で pyemd ライブラリをインストールしておかないとエラーを吐くので注意。 - めちゃくちゃ計算時間がかかる ### 参考URL - gensim の Word2Vec Model - https://radimrehurek.com/gensim/models/word2vec.html ## 次回の予定 2020/3 末までに開催したい。 ### テーマ - word2vec の続き。 - LSTM - ゼロから作るDeep Learning 2 ―自然言語処理編 p.232 - 259 ### 今後の方向性 - Attention をやりたい - LSTM - ゼロから作るDeep Learning 2 ―自然言語処理編 p.232 - 259 - Encoder-Decoder モデル - Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation - https://arxiv.org/abs/1406.1078 - Self-attention (old-fashioned) - A Structured Self-attentive Sentence Embedding - https://arxiv.org/abs/1703.03130 - Attetion - Neural Machine Translation by Jointly Learning to Align and Translate - https://arxiv.org/abs/1409.0473 - Transformer - Attention Is All You Need - https://arxiv.org/abs/1706.03762 - BERT - BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding - https://arxiv.org/abs/1810.04805