---
# System prepended metadata

title: MiuLab Project

---

# MiuLab Project

### 12/3

方向: 由學長的paper出發，想同時考慮similarity, uncertainty，主要想根據下方此論文的uncertainty方法
[Boosting Cross-Lingual Transfer via
Self-Learning with Uncertainty Estimation](https://arxiv.org/abs/2109.00194)

#### 學長論點概述
    此論文三個uncertainty做法都屬於比較進階的，
    1. leu, monte carlo 法的變形版
    2. lou, 其實做的事也是similarity
    3. evi, 是entropy的進階版
    -> 建議先從最簡單的monte carlo dropout, entropy的基礎方法試試看
        之後再往這篇論文的一三方法試試看

    此篇論文與學長論文差異: 
        學長是多個task去幫助一個task -> 多對一
        此論文是一個source 去到所有的->  一對多
    
    
    要同時考慮uncertainty, similarity的難點
    
    1. 各個task的難度不同，那麼，應該要難度應該是所有的task一起比難還是只跟同個task的比較難度
    2. 如何融合 uncertainty, similarity 這兩項資訊，才不會被一方主導
    3. 也有可能是這個議題上，根本就不存在取data難易度的問題
    
#### 實驗方向
 
1. run codes, uncertainty + similarity, 使用entropy, 之類簡單的uncertainty, 來算出uncertainty分數後，直接與similarity相加
a. 缺點: 可能被一邊主導
b. 改良: 不要直接加起來，而是訓練另一個類似linear layer去調整 uncertainty, similarity的關係 -> 問題: 這個learnable parameter的target是甚麼呢?
2. similarity 選 10000 -> uncertainty 選 500
a. 優點: 稍微不會被一邊主導
b. 缺點: task之間難度不同，uncertainty取法有點怪

https://docs.google.com/presentation/d/1MQfzsWvOHkgaxQqqS3dXJnRgPSZ0wr9VRVMg499SMOw/edit?usp=sharing

#### Current problem
1. difference in multi-task learning and multi-task auxiliary learning