# 勉強会のネタ

## 今後の方向性

- 実用的な機械学習
- 実装
- 論文
- 機械学習の理論的側面

## 今後の方向性

- Attention をやりたい
- LSTM
- ゼロから作るDeep Learning 2 ―自然言語処理編 p.232 - 259
- Encoder-Decoder モデル
- Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
- https://arxiv.org/abs/1406.1078
- Self-attention (old-fashioned)
- A Structured Self-attentive Sentence Embedding
- https://arxiv.org/abs/1703.03130
- Attetion
- Neural Machine Translation by Jointly Learning to Align and Translate
- https://arxiv.org/abs/1409.0473
- Transformer
- Attention Is All You Need
- https://arxiv.org/abs/1706.03762
- BERT
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
- https://arxiv.org/abs/1810.04805

## 題材案

- 自然言語処理
- Mecab の動作原理
- Viterbi アルゴリズム
- Cabocha の動作原理
- 最小全域木
- トピックモデル
- Latent Dirichlet Allocation (LDA)
- 単語の分散表現
- 特異値分解
- Word2Vec
- Fasttext
- GloVe
- ELMo
- Attention
- Transformer
- Neural Topic Model
- Variational Auto-Encoder 関連の話のはず
- 類似文検索
- Word Mover's Distance
- 輸送問題
- Relaxed Word Mover's Distance 等の計算量が少ない手法が提案されている
- 画像処理
- G-CNN
- ResNET
- YOLO
- GradCAM
- CycleGAN
- https://arxiv.org/pdf/1703.10593.pdf
- 連続最適化
- 勾配法
- 勾配降下法のアルゴリズム
- SGD
- MomentumSGD
- Nesterov accelerated gradient
- Adam
- Adabound
- KKT 条件
- ブラックボックス最適化
- ベイズ最適化
- 強化学習
- Deeq Q Network
- Reinforcement Learning: An Introduction (Adaptive Computation and Machine Learning series) (English Edition) 2nd Edition
- GAN
- DCGAN
- CycleGAN の理論
- Baysian Deep Learning
- 異常検知
- Deep Learning for Anomaly Detection: A Survey
- https://arxiv.org/abs/1901.03407
- データ可視化
- 主成分分析（PCA）
- t-SNE
- UMAP
- 機械学習手法
- 重回帰
- 決定木
- Random Forest
- Gradient Tree Boosting
- XGBoost
- LightGBM
- 説明変数の重要度
- Support Vector Machine
- EM アルゴリズム
- K-means
- Gaussian Mixture Model
- Markov Chain Monte Carlo methods (MCMC)
- Gibbs Sampling

## ツール群

- 機械学習手法
- Schikt-learn (Python)
- 重回帰
- 決定木
- Support Vector Machine
- EM アルゴリズム
- Gradient Tree Boosting
- XGBoost
- LightGBM
- 自然言語処理
- 形態素解析器
- Mecab
- めちゃくちゃ早いし、精度も良い。
- 古くから使われている。大体これを使っておけばいい。
- Sentencepiece
- Deep Learning 用
- 文法などはからっきし
- 係り受け解析器
- Cabocha
- Mecab と連携した係り受け解析器
- Windows だと 64 bit 版が入れられないので挫折する
- KNP
- gensim (Python)
- Topic モデル
- Word2Vec
- Fasttext
- spaCy (Python)
- NLPで最近広く使われているライブラリ
- Pytorch (Python)
- ELMo
- AllenNLP
- Transformer
- GPT
- BERT
- 画像処理
- OpenCV (C++, Python)
- Pytorch (Python)
- ELMo
- AllenNLP
- Transformer
- GPT
- BERT
- ベイズ最適化
- GPyOpt (Python)