Towards Instance-adaptive Inference for Federated Learning === Abstract --- 聯邦式學習是一種分散式學習，透過聚合多個client端的local training後形成一個global model。但由於client端的數據呈現 **非獨立同分布(non-i.i.d)** 導致聚合後的模型的性能降低，因此提出新的聯邦學習算法`FedIns`，通過在聯邦學習的框架下使用 **Instance-adaptive Inference** 處理client端的數據異質性。利用對pretrained model進行 **scale and shift deep features(SSF)** ，在每個client端上建立一個SSF Pool並在server端進行聚合，從而降低兩者間的通訊成本。為了實現 **Instance-adaptive Inference**，對於每個實例會從SSF pool中挑選最佳的subset，再生成針對於該實例的自適應SSF並降低`inter-client`與`intra-client`之間的數據異質性。 Introduction --- 大量可用的數據促進了深度學習的發展，然後這些數據通常分佈在不同的設備上，出於對這些數據隱私的考量，需要利用分散式學習->聯邦式學習將這些私有的數據在本地訓練好模型後，將模型參數送至server端進行聚合，最後再將聚合後的模型送回client端。 然而這些在眾多client端之間甚至是單個client端內的數據可能是以不同設備、環境或方式取得的，導致傳統的聯邦學習算法(e.g.,FedAvg)在使用這些分布不均勻的數據後性能嚴重下降。 有一個簡單的方法是為每個實例建構一個特地的模型，但這種方法會在訓練、儲存、通訊上帶來巨大的挑戰。因此改採用參數微調的方法`prompt tuning`，先凍結pretrained model的backbone，只學習與通訊少量可學習的prompt。 本文提出一種基於預訓練模型的實例自適應推理新算法(FedIns)，透過SSF微調訓練階段的預訓練模型，並透過參數化合併至原始的預訓練模型，為了實現 **Instance-adaptive Inference** ，在每個client端上訓練一個SSF pool，並在server端上進行聚合，達到較低的儲存與通訊成本。 Related Work --- ... 直接看ppt https://docs.google.com/presentation/d/1423tSnhX5QlSZJnN3Wpk5V59jsGMeEoQr_Cf2XcrpwI/edit?usp=sharing