---
# System prepended metadata

title: 自然語言如何做遷移學習-BERT - Jerry Wu
tags: [DevFest2019]

---

自然語言如何做遷移學習-BERT - Jerry Wu
===



> 請從這裡開始
* ASR: 自動語音識別(Automatic Speech Recognition)
* NLU: 自然語言理解(Natural Language Understanding)
* TTS: 文字轉語音（Text-To-Speech）
 
## 
* Word2Vec, FastText, ELMo -> 用CPU即可
* BERT, XLNet, Transformer

##
NLU做遷移學習
    - 把pre-trained model轉換成BERT產生出來的Embedding->做Classification、Fine Tuning、Sequence Labelling


## BERT 核心
- 詞語遮蔽
- 預測下一句

## 應用
- 情緒分析
- 標示
- 推論
- QA

## 優缺
- 優點：
    - 靠大量資料產生embedddings 提高準確
    - 提供微調 (Find Tuning)
- 缺點：
    - 訓練、運用耗費資源
    - 文字長度考量
    - 回應效率問題
    - XLNet 等衍生，一樣有同樣耗費資料問題


BERT 三行，快速產生 word vector，不需要自己 train

## 資料
- [BERT 官方](https://github.com/google-research/bert)
- [BERT Service](https://github.com/hanxiao/bert-as-service)

- [attention is all you need](https://arxiv.org/pdf/1706.03762.pdf)
- [Pre-training of Deep Bidrectional Transformers for Language Unberstanding](https://arxiv.org/pdf/1810.04805.pdf)
###### tags: `DevFest2019`