---
# System prepended metadata

title: 勉強会のネタ

---

# 勉強会のネタ

## 今後の方向性

- 実用的な機械学習
    - 実装
    - 論文
- 機械学習の理論的側面

## 今後の方向性

- Attention をやりたい
    - LSTM
        - ゼロから作るDeep Learning 2 ―自然言語処理編 p.232 - 259
    - Encoder-Decoder モデル
        - Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
        - https://arxiv.org/abs/1406.1078
    - Self-attention (old-fashioned)
        - A Structured Self-attentive Sentence Embedding
        - https://arxiv.org/abs/1703.03130
    - Attetion
        - Neural Machine Translation by Jointly Learning to Align and Translate
        - https://arxiv.org/abs/1409.0473
    - Transformer
        - Attention Is All You Need
        - https://arxiv.org/abs/1706.03762
    - BERT
        - BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
        - https://arxiv.org/abs/1810.04805

## 題材案

- 自然言語処理
    - Mecab の動作原理
        - Viterbi アルゴリズム
    - Cabocha の動作原理
        - 最小全域木
    - トピックモデル
        - Latent Dirichlet Allocation (LDA)
    - 単語の分散表現
        - 特異値分解
        - Word2Vec
        - Fasttext
        - GloVe
        - ELMo
    - Attention
        - Transformer
    - Neural Topic Model
        - Variational Auto-Encoder 関連の話のはず
    - 類似文検索
        - Word Mover's Distance
            - 輸送問題
            - Relaxed Word Mover's Distance 等の計算量が少ない手法が提案されている
- 画像処理
    - G-CNN
    - ResNET
    - YOLO
    - GradCAM
    - CycleGAN
        - https://arxiv.org/pdf/1703.10593.pdf
- 連続最適化
    - 勾配法
    - 勾配降下法のアルゴリズム
        - SGD
        - MomentumSGD
        - Nesterov accelerated gradient
        - Adam
        - Adabound
    - KKT 条件
- ブラックボックス最適化
    - ベイズ最適化
- 強化学習
    - Deeq Q Network
    - Reinforcement Learning: An Introduction (Adaptive Computation and Machine Learning series) (English Edition) 2nd Edition
- GAN
    - DCGAN
    - CycleGAN の理論
- Baysian Deep Learning
- 異常検知
    - Deep Learning for Anomaly Detection: A Survey
        - https://arxiv.org/abs/1901.03407
- データ可視化
    - 主成分分析（PCA）
    - t-SNE
    - UMAP
- 機械学習手法
    - 重回帰
    - 決定木
        - Random Forest
        - Gradient Tree Boosting
            - XGBoost
            - LightGBM
        - 説明変数の重要度
    - Support Vector Machine
    - EM アルゴリズム
        - K-means
        - Gaussian Mixture Model
    - Markov Chain Monte Carlo methods (MCMC)
        - Gibbs Sampling

## ツール群

- 機械学習手法
    - Schikt-learn (Python)
        - 重回帰
        - 決定木
        - Support Vector Machine
        - EM アルゴリズム
        - Gradient Tree Boosting
            - XGBoost
            - LightGBM
- 自然言語処理
    - 形態素解析器
        - Mecab
            - めちゃくちゃ早いし、精度も良い。
            - 古くから使われている。大体これを使っておけばいい。
        - Sentencepiece
            - Deep Learning 用
            - 文法などはからっきし
    - 係り受け解析器
        - Cabocha
            - Mecab と連携した係り受け解析器
            - Windows だと 64 bit 版が入れられないので挫折する
        - KNP
    - gensim (Python)
        - Topic モデル
        - Word2Vec
        - Fasttext
    - spaCy (Python)
        - NLPで最近広く使われているライブラリ
    - Pytorch (Python)
        - ELMo
            - AllenNLP
        - Transformer
        - GPT
        - BERT
- 画像処理
    - OpenCV (C++, Python)
    - Pytorch (Python)
        - ELMo
            - AllenNLP
        - Transformer
        - GPT
        - BERT
- ベイズ最適化
    - GPyOpt (Python)
