---
# System prepended metadata

title: 機械学習勉強会 第7回

---

# 機械学習勉強会 第7回
2020-06-07 (Sun) 13:00 -

## テーマ
- Transformer
  - 作って理解する Transformer / Attention
  https://qiita.com/halhorn/items/c91497522be27bde17ce
  - 論文解説 Attention Is All You Need (Transformer)
  http://deeplearning.hatenablog.com/entry/transformer
  - 現論文 "Attention Is All You Need"
  https://arxiv.org/abs/1706.03762

### 担当分け
1. ブログ記事 「注意は辞書オブジェクト」から「ソースターゲット注意と自己注意」まで
1. Qiita 記事 「基本的な Attention」から「Multi-head Attention」まで
1. Qiita 記事 「Hopping」から「全体像」まで
1. ブログ記事 「実験」から「自己注意」まで
1. ブログ記事 「自己注意と他のネットワーク」から「DeepL Translator」まで

## 話し合いたいこと
- 実装回はハッカソン形式にしませんか?
