[DLJ+21]AUCTION: Automated and Quality-Aware Client Selection Framework for Efficient Federated Learning

# AUCTION: Automated and Quality-Aware Client Selection Framework for Efficient Federated Learnin https://ieeexplore.ieee.org/document/9647925 使用RL幫助FL選擇選擇client，並且同時考慮data quality以及economic(budget of FL)。此非auction game!!! 1. 考慮一個FL task以及多個client 2. FL task有一個budget，其所招募的client所花的錢不能多於此價格；每個client會提出一個可以接受的價格(非auction，最終payment就是當初提書價格) 3. Selection mechanism考量**data size(d_i)**、**data distribution(q_i^d)**和**data mislabel(q_i^l)** (本身Fl有一組test dataset用來訓練一開始global model以及evaluate data quality) * **data size(d_i)**: 由client自己提供 * **data distribution(q_i^d)**: 上傳local model使用test database所算出loss來衡量(越大表示distribution越差) * **data mislabel(q_i^l)**: global model在client的local dataset所算出loss，以此做為data mislabel level 4. 使用RL方式幫助我們選擇在不超出FL budget下能夠最大程度提升最終accurate的selection mechanism * State: x_i={d_i,q_i^d,q_i^l,b_i} * Action: a，選擇特定一個client (*selection mechanism應該是要選擇一個client subset，但是這會讓policy network的output變成O(2^N)不實際，因此改成sequential select，一次選一個client直到沒有budget為止*) * Policy: 在現有budget下，選擇action-a的機率 π(a|s,B) * Reward: 目標是要FL能夠快速收斂到準確的model * R: total number of rounds of the entire FL process * acc^j: 第j輪的accurate rate * Lambda: 一個定值(本篇設為60)，讓越準有越高效益邊際效應 ⇨ 為甚麼是累加起來? 這個應該是期望值才對? (RL當下的reward應該是要與前後無關才對) 5. 5. reduce the searching space of the RL algorithm, the policy network is designed as an encoder-decoder structure (未看，未來實作可以參考network怎麼設計的) 6. 其他: DATA DRIVEN ANALYSIS AND OBSERVATIONS，堤共FL訓練model在不同database、data size和data distribution(也只是一種client只有一種class)下的analysis {缺點: 針對non-iid分類不夠細微}