自然語言如何做遷移學習-BERT - Jerry Wu
===

> 請從這裡開始
* ASR: 自動語音識別(Automatic Speech Recognition)
* NLU: 自然語言理解(Natural Language Understanding)
* TTS: 文字轉語音（Text-To-Speech）

##
* Word2Vec, FastText, ELMo -> 用CPU即可
* BERT, XLNet, Transformer

##
NLU做遷移學習
- 把pre-trained model轉換成BERT產生出來的Embedding->做Classification、Fine Tuning、Sequence Labelling

## BERT 核心
- 詞語遮蔽
- 預測下一句

## 應用
- 情緒分析
- 標示
- 推論
- QA

## 優缺
- 優點：
- 靠大量資料產生embedddings 提高準確
- 提供微調 (Find Tuning)
- 缺點：
- 訓練、運用耗費資源
- 文字長度考量
- 回應效率問題
- XLNet 等衍生，一樣有同樣耗費資料問題

BERT 三行，快速產生 word vector，不需要自己 train

## 資料
- [BERT 官方](https://github.com/google-research/bert)
- [BERT Service](https://github.com/hanxiao/bert-as-service)

- [attention is all you need](https://arxiv.org/pdf/1706.03762.pdf)
- [Pre-training of Deep Bidrectional Transformers for Language Unberstanding](https://arxiv.org/pdf/1810.04805.pdf)
###### tags: `DevFest2019`