###### tags: `Deep learning`
# Meta Learning

**目的**
在於能讓模型自動學習自己的參數，例如:inital parameter, Optimizer等

## Machine learning v.s meta learning

* Model comparsion
1.利用meta learning所訓練出的F去自動尋找最佳f的parameter


* Training dataset comparsion
1.**Machine learning** 適用一組task資料來
2.**Meta learning** 適用多組task資料來train
algorithm

* Testing dataset comparsion
1.**Machine learning** 用一張image testing即完成
2.**Meta learning** 須完成within-task training之外也需要within-task testing做驗證，整個round稱為Episode

* loss function[3]
1.**Machine learning** 用一組traning dataset可算出loss
2.**Meta learning** 需用多組training dataset

## MAML(Model Agnostic Meta Learning)
在 MAML 中，其目標在於一次看過多種任務（task），並希望可以學到一個可以找到所有任務「本質」的模型。舉例來說，我們小的時候學會寶特瓶可以一手握著瓶身，另一手將瓶蓋轉開；而當我們接觸到一個裝糖果的玻璃罐時，我們察覺玻璃罐與保特瓶相似的本質，因而有辦法套用既往的知識快速的移轉到新的任務上，而MAML便是在學這個過程，在遍覽多種任務後，學習一組對任務敏感的參數，當新任務進來時能快速的將先驗知識移轉到新任務[4]

### 目標[2]
>* 在於訓練模型的初始參數可以使在新的TASK中根據**少量的數據**或是**通過一次會幾次gradient decent**得到最優的效果
>* 專註於提升模型整體的學習能力，而不是解決某個具體問題的能力,它的訓練數據是以 task 為基本單位的，每個 task 都有自己獨立的損失函數。訓練時，不停地在不同的 task 上切換，從而達到初始化網路參數的目的，最終得到的模型，面對新的 task 時可以學習得更快。不同task會有不同loss及classifier
> * Meta Learning 從一開始，就不以降低訓練 task 損失函數為唯一目標，它的目標是各個 task 都學一點，然後學一組有潛力的初始化參數，以備將來新的訓練任務。

## train 過程
>初始參數為phi,每經過一個task會有不同的Model(theta n:表示地n個dataset學出來的model),而theta n會依據phi影響

>為第n個task training的testing data去算他的loss

>因此total loss:L(phi)將所有的loss加總起來，如何minimize L(phi)?利用gradient descent，每個task theta 只會被gradient一次
>
>



## Reference
1. https://www.youtube.com/watch?v=xoastiYx9JU&lc=UgzjGsOSadapDM61IUl4AaABAg
2. https://www.getit01.com/p20190712472920138/
3. https://www.youtube.com/watch?v=ItPEBdD6VMk
4. https://biic.ee.nthu.edu.tw/blog-detail.php?id=24