---
# System prepended metadata

title: 機械学習勉強会 第2回

---

# 機械学習勉強会 第2回

2020-03-15 (Sun) 13:00 -

## テーマ

Word2Vec
1. 原論文
    - Efficient Estimation of Word Representations in Vector Space
    - https://arxiv.org/abs/1301.3781
1. 解説論文
    - word2vec Parameter Learning Explained
    - https://arxiv.org/abs/1411.2738

### 担当分け

1. Continuous Bag-of-Word Model
    - 解説論文の 1 章
    - 原論文の 3 章 1 節
1. Skip-Gram Model
    - 解説論文の 2 章
    - 原論文の 3 章 2 節
1. 損失関数の近似手法
    - Hierarchical Softmax
        - 解説論文の 3 章 1 節
    - Negative Sampling
        - 解説論文の 3 章 2 節
1. 実験結果
    - 原論文の 4 章
    - 原論文の 5 章
1. 他手法との比較・結論・展望
    - 原論文の 2 章
    - 原論文の 6 章
    - 原論文の 7 章

### 所感

- 分布仮説 (Distributional hypothesis)
    - 「単語の意味はその単語が出現した際の周囲の単語によって決まる」という仮説
    - Word2Vec のアイデアはこの仮説に基づいている
    - Harris, Z.: Distributional structure, Word, Vol. 10, No. 23, pp. 146-162（1954）
- Word2Vec の構造
    - モデル
        - Continuous Bag-of-Word (CBoW)
        - Skip-gram
    - 損失関数の近似手法
        - Hierarchical Softmax (階層型ソフトマックス)
        - Negative Sampling
    - Skip-gram と Negative Sampling の組み合わせで利用されることがほとんど
- 使い道
    - 単語の類似度を計算
    - 他分析の前処理に利用
        - Deep Learning における Embedding Layer の初期値に利用
        - 「文章内の各単語ベクトルの平均をとる」等を行い、文章ベクトルを作成
            - ロジスティック回帰、サポートベクターマシン、ニューラルネットワークなどに文章ベクトルを入力
    - 文章の類似度を計算
        - 文章検索等に利用
        - Word Mover's Distance
            - gensim の Word2Vec Model の wmdistance 関数から利用できる
                - あらかじめ `pip install pyemd` で pyemd ライブラリをインストールしておかないとエラーを吐くので注意。
            - めちゃくちゃ計算時間がかかる
    
### 参考URL

- gensim の Word2Vec Model
    - https://radimrehurek.com/gensim/models/word2vec.html

## 次回の予定

2020/3 末までに開催したい。

### テーマ

- word2vec の続き。
- LSTM
    - ゼロから作るDeep Learning 2 ―自然言語処理編 p.232 - 259

### 今後の方向性

- Attention をやりたい
    - LSTM
        - ゼロから作るDeep Learning 2 ―自然言語処理編 p.232 - 259
    - Encoder-Decoder モデル
        - Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
        - https://arxiv.org/abs/1406.1078
    - Self-attention (old-fashioned)
        - A Structured Self-attentive Sentence Embedding
        - https://arxiv.org/abs/1703.03130
    - Attetion
        - Neural Machine Translation by Jointly Learning to Align and Translate
        - https://arxiv.org/abs/1409.0473
    - Transformer
        - Attention Is All You Need
        - https://arxiv.org/abs/1706.03762
    - BERT
        - BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
        - https://arxiv.org/abs/1810.04805
