# 讓繁體中文 NLP 自然語言處理落地的困難與機遇 - Eric Lam

{%hackmd rG6pzIawQKe5cHU4rycgYg %}
# Link
[投影片連結](https://docs.google.com/presentation/d/1Y-Az5lJOE-iMuvH-C-vQL67GigbqlCEw83SR9Zfht1s/edit?usp=sharing)
[資料下載/預處理](https://github.com/voidful/NLPrep)
[資料下載/預處理 Viewer](https://github.com/voidful/NLPrep)
[模型訓練，測試](https://github.com/voidful/TFkit)
[模型做成API跟網站](https://github.com/voidful/nlp2go)
[模型做成API跟網站的Dockerfile](https://github.com/voidful/nlp2go/tree/master/demo_site)
[nlp2go Demo](demo.voidful.tech)

## Speaker
中興大學 UDIC Lab
研究領域：文本生成/機器閱讀理解
[講者 Github](https://github.com/voidful)
[講者 Blog](https://voidful.tech)

## AlphaGO 熱潮
AI 熱潮興起，但 NLP 並沒有跟到這一波熱潮
那 NLP 會如何發展呢?

## 介紹 NLP
將文本變成電腦可以理解的內容

### 傳統做法 - 情緒分析
input 沒有人會喜歡你 ->　output 正面/負面
斷詞後轉換成為向量(分為正向及負向)

### 難處：斷詞

英文不需要斷詞，繁體中文很需要
英文例子：More - 多一些

#### 1. 斷詞的問題 - 分歧
放心 沒有 人 會 喜歡 你 <-負面
放心 沒有人 會 喜歡 你 <-正面

#### 2. 斷詞的問題 - 一詞多義
蘋果 日報
蘋果 西打

#### 3. 斷詞斷詞斷詞，很重要所以要說三次

### 解決：斷詞+斷字 看上下文

### 傳統 NLP 模型架構
> 簡單的文本轉換數字 => 複雜的閱讀理解 => 機器翻譯 + NER

### 新的 NLP 模型
>強大的文本轉換數字 => 強大的模型 + 上下文理解

※直接得到句子的向量，學習句子怎麼講

沒有 [Mask] 會喜歡你
沒有 人 會喜歡你

### 新 NLP 模型架構 - BERT
1. 句子分類更測
2. 多語言 BERT，在英文上訓練，直接中文測試
3. 我變禿了，也變強了

BERT inside
- 句子分類
- 字元分類
- 每個字都給他一個標籤，標出想要的名詞開頭結尾
- 閱讀理解
- [機器閱讀理解demo](https://demo.voidful.tech/#%E4%B8%AD%E6%96%87%E9%96%B1%E8%AE%80%E7%90%86%E8%A7%A3)
- 找到文章開始跟結尾的位置
- 總長為文章字數 + 開頭
- 機遇 - 新任務 - 文本生成
- 給定開頭，生成通順的下文

## 繁體中文NLP的機遇
1. 解決斷詞問題
2. 新的訓練方式
3. 更加通用的模型，可以用在不同的xx
4. 新的任務，更多的可能性

## 挑戰
1. 商業應用難 - NLP 比較抽象/不夠fancy
- 垃圾郵件偵測器
- 聊天機器人
- 機器翻譯
- 電影評分解析機器人
- 人名辨識器
- 文本摘要機器

2. 商業應用難 - 包山包海
- 通訊軟體、社群軟體、資料分析、App串接、...等
<!-- TODO picture link -->

3. 商業應用難 - 成本高
- 文本生成模型
- 一筆資料兩秒
- 一個 user 一週 100 題，一個就需要 800 秒 v100
- 成本 82 塊一小時
- **這是單純模型運算成本**

4. 商業應用難 - 初期使用者
>缺乏標記資料使得初期效果不好
>難以找到初期嚐鮮的使用者
>沒有使用者，沒有資料更新模型
>loop

5. 商業應用難 - 穩定持續改善的服務
* 準備訓練資料
* 什麼時候要改善
* 訓練成本高，不能一直更新
* 如何更新
* 提高效率
* 持續提高效率降低成本
**無法保證模型準確度的時程**

## Data Labeling(資料標記)
- 讓模型介入檢查
- 減少標記人力
> 學術的資料集都有錯誤發生
公司的資料集更可能出錯
[name=講者]

>引入模型來檢查標記是否正確
>[name=講者]

>模型之間分岐大，標記內容也不盡相同

>如果不小心真的獲得幾百萬的資料，該如何確認沒有重複標記？

- 改善模型
- 新的訓練改變就輸出，資料不是越多越好
- 模型訓練/驗證/版本/參數/模型架構/程式碼/所有預測結果...
- 訓練模型時，請丟代表性資料，不需要全部舊資料都丟
- 強烈建議所有模型建立者把所有 log 記下來，以便為來出錯時能拿來比對
- 要寫 Test Case

- Optimization
- 重新訓練模型的成本很高
- 模型會很容易被用爆server
- Backend: load balance, caching
- inference: ONNX
- Model: pruning/konwledge distillation/ fatorization/ weight sharing

- 重新訓練模型：不要頻繁訓練新模型，記錄每次訓練的版本

[try it!! -> Demo](https://demo.voidful.tech)

###### tags: `MOPCON 2020`