###### tags: `Deep learning`

# Multi-task learning
### 目的
MTL僅使用一個模型就可以處理多個任務。多任務學習，其實是對目標任務做了一定的約束，或者叫做regularization。我們不希望模型只侷限於目標任務的學習，而是能夠適應多個任務場景，這樣可以大大的增加模型的泛函能力(generalization)

* Example

比如在手機助手喚醒這個高頻場景，一般需要兩個模型，A模型用於檢測是否是手機用戶的語音，避免環境音或者自身迴聲干擾；B模型用於檢測用戶語音是否包含喚醒詞，深度學習中兩種多任務學習模式：隱層參數的**硬共享**與**軟共享**[1-2]

[3]

* 硬共享

多個任務之間**共享幾層hidden layer**的parameter
,靠近輸出部分開始分叉去做不同的任務。

* 軟共享

不同的任務使用**不同的網絡**，但是不同任務的網絡參數，採用距離(L1,L2)等作爲約束，**鼓勵參數相似化**。

## Reference
1. Multi-task learning
https://www.twblogs.net/a/5cb64250bd9eee0f00a1d1c
2. Multi-task learning
https://hypergrowths.com/entrepreneur/digital-transformation/16734/topic-352428655/
3. https://www.youtube.com/watch?v=ckQuvrksP4k