# MiuLab Project

### 12/3

方向: 由學長的paper出發，想同時考慮similarity, uncertainty，主要想根據下方此論文的uncertainty方法
[Boosting Cross-Lingual Transfer via
Self-Learning with Uncertainty Estimation](https://arxiv.org/abs/2109.00194)

#### 學長論點概述
此論文三個uncertainty做法都屬於比較進階的，
1. leu, monte carlo 法的變形版
2. lou, 其實做的事也是similarity
3. evi, 是entropy的進階版
-> 建議先從最簡單的monte carlo dropout, entropy的基礎方法試試看
之後再往這篇論文的一三方法試試看

此篇論文與學長論文差異:
學長是多個task去幫助一個task -> 多對一
此論文是一個source 去到所有的-> 一對多

要同時考慮uncertainty, similarity的難點

1. 各個task的難度不同，那麼，應該要難度應該是所有的task一起比難還是只跟同個task的比較難度
2. 如何融合 uncertainty, similarity 這兩項資訊，才不會被一方主導
3. 也有可能是這個議題上，根本就不存在取data難易度的問題

#### 實驗方向

1. run codes, uncertainty + similarity, 使用entropy, 之類簡單的uncertainty, 來算出uncertainty分數後，直接與similarity相加
a. 缺點: 可能被一邊主導
b. 改良: 不要直接加起來，而是訓練另一個類似linear layer去調整 uncertainty, similarity的關係 -> 問題: 這個learnable parameter的target是甚麼呢?
2. similarity 選 10000 -> uncertainty 選 500
a. 優點: 稍微不會被一邊主導
b. 缺點: task之間難度不同，uncertainty取法有點怪

https://docs.google.com/presentation/d/1MQfzsWvOHkgaxQqqS3dXJnRgPSZ0wr9VRVMg499SMOw/edit?usp=sharing

#### Current problem
1. difference in multi-task learning and multi-task auxiliary learning