# Federated Reinforcement Learning framework for O-RAN Adaptation(FLORA)

> Github repo：https://github.com/thc1006/FLORA

**FLORA** 是一套專為 O-RAN 網路切片開發的「聯邦強化學習（FRL）沙盒」，建構在東北大學 WINS 實驗室公開的 **ColO-RAN 離線資料集** 之上，支援動態分群、個人化與 Opacus-加持的差分隱私；藉由完整的消融實驗與易於 fork 的 Colab 筆記本，研究者可以快速驗證各種 FL/FRL 策略，並對離線資料的侷限提出改進方案。

## 為什麼要關注 O-RAN 離線資料？

* **實務稀缺**：真實 5G RAN 量測需昂貴試驗場與商用網測試，東北大學公開的 **ColO-RAN** 提供 7 個基站、42 UE、多切片 KPI 的高解析追蹤檔（Parquet≈2 GB），是少數可開箱即用的 RAN 時序資料集 ([github.com][1])。
* **可重現**：資料來自 Colosseum 無線網路模擬器的 Rome 場景，頻寬 10 MHz／3 切片／3 種排程器；下載即可離線跑演算法，不受無線頻譜與實體基地台限制 ([github.com][2])。
* **研究熱區**：該資料集已被 OpenRAN Gym 及多篇 O-RAN AI 論文引用，作為 xApp 與 RIC 控制迴圈的驗證基準 ([openrangym.com][3])。

> **痛點：** 離線資料缺乏跨場景多樣性，且客戶端（基站）數量固定，導致聯邦學習實驗難以橫向擴充；這正是 FLORA 要解決的第一道關卡。

---

## FLORA 倉庫亮點

| 功能 | 說明 |
| ------------------ | ----------------------------------------------------------------------------- |
| **全筆記本工作流程** | 6 支 Colab .ipynb 涵蓋前處理 ⇢ FRL 訓練 ⇢ 評估，可一鍵執行 GPU 實驗 ([github.com][4]) |
| **Opacus 差分隱私** | 內建 `PrivacyEngine`，即時追蹤 ϵ/δ，確保每輪梯度更新不洩漏用戶資訊 ([opacus.ai][5], [github.com][6]) |
| **動態分群 + 個人化** | K-Means 依 KPI 分群，群內共享全局模型，群間採局部微調；支援 FedAvg/FedProx/ClusteredFL 等策略 |
| **消融實驗框架** | 以 YAML 參數切換「客戶端數、DP 噪聲、更新頻率」等，快速產生對照組，利於論文撰寫 |
| **DP-FRL 基準** | 透過 Opacus Gaussian 機制驗證 DP-FRL 在 slice 吞吐／延遲目標下仍能收斂 |

---

## 實驗設計速覽

flowchart LR
  %% === Data ===
  subgraph Data
    A1["ColO-RAN<br/>Parquet"]
  end

  %% === Loader ===
  subgraph Loader
    B1["DataManager"]
    A1 --> B1
  end

  %% === Client ===
  subgraph Client
    C1["PairedEnv<br/>(DQN)"]
    C2["Opacus DP"]
    B1 --> C1
    C1 --> C2
  end

  %% === Server ===
  subgraph Server
    D1["FedAvg / FedProx / Clustered"]
    D2["DP Accountant"]
    C2 --> D1
    D1 --> D2
  end

  %% === Global update loop ===
  D1 -- "global_model" --> C1

* **環境 (PairedEnv)**：4 維狀態＝各 slice 吞吐量／延遲，動作＝3 種排程器切換。
* **客戶端擴充**：因原始 BS=7，研究者透過「高斯擾動複製」方式，把 3 base client 複製成 10 客戶端，用以測試伺服器選擇策略 ([github.com][4])。
* **侷限提醒**：此做法破壞了「跨客戶端資料互斥」假設，可能導致更新高度相關而低估隱私風險 ([arxiv.org][7])。

---

## 離線資料的兩面刃

| 優勢 | 侷限 |
| --------------------------------------------- | ----------------------------------------------------- |
| 不需無線場域，可快速迭代模型 ([wiot.northeastern.edu][9]) | 缺乏真實干擾、多場景通道變化 |
| 重現性高，便於對比基線 | 客戶端數／資料多樣性受限，需合成補強 |
| 適合 DP 研究，避免隱私法規障礙 | 合成資料易導致 klient 更新相關性偏高，違反 FL 獨立性假設 ([arxiv.org][7]) |

**下一步：** 可考慮結合 Northeastern 新推出的 *O-RAN Digital Twin* 平台，線上生成多場景射頻追蹤，再與離線資料混合訓練 ([wiot.northeastern.edu][10])。

---

## 參與社群

1. **Star / Fork** 倉庫：[https://github.com/thc1006/FLORA](https://github.com/thc1006/FLORA) ([github.com][4])
2. 提交 PR：歡迎加入新型 FL 聚合策略或 DRL 演算法。
3. 與作者交流：在 Issue 發問或 DM Facebook [@thc1006](https://fb.com/thc1006)。

---

## 延伸閱讀

* ColO-RAN 原始論文：IEEE TMC 2022 ([github.com][1])
* Federated DRL for O-RAN 切片：Abouaomar et al. 2022 ([arxiv.org][8])
* Evolutionary DRL in RAN slicing：Chen et al. 2023 ([arxiv.org][11])
* Opacus 官方文件與範例 ([opacus.ai][5])
* FL 客戶端參與與收斂分析：Wang & Ji 2024 ([arxiv.org][7])

---

### Tags
#FederatedLearning #ReinforcementLearning #DifferentialPrivacy #5G #NetworkSlicing #O-RAN #Opacus #MachineLearning #DeepLearning #AIfor5G

> *離線資料不能阻擋創新，只要你肯在數據的沙漠裡種樹。* — FLORA 開發手札

[1]: https://github.com/wineslab/colosseum-oran-coloran-dataset "GitHub - wineslab/colosseum-oran-coloran-dataset: Dataset for the paper M. Polese, L. Bonati, S. D'Oro, S. Basagni, T. Melodia, \"ColO-RAN: Developing Machine Learning-based xApps for Open RAN Closed-loop Control on Programmable Experimental Platforms,\" IEEE Transactions on Mobile Computing, pp. 1-14, July 2022."
[2]: https://github.com/wineslab/colosseum-oran-coloran-dataset?utm_source=chatgpt.com "Colosseum O-RAN ColORAN Dataset - GitHub"
[3]: https://openrangym.com/datasets/colosseum-coloran-dataset?utm_source=chatgpt.com "Colosseum ColO-RAN Dataset - OpenRAN Gym"
[4]: https://github.com/thc1006/FLORA "GitHub - thc1006/FLORA: 一個為 O-RAN 適應性而生的聯邦強化學習框架。透過動態分群、個人化與隱私保護技術，智慧化地解決網路切片資源管理的挑戰。"
[5]: https://opacus.ai/?utm_source=chatgpt.com "Opacus · Train PyTorch models with Differential Privacy"
[6]: https://github.com/pytorch/opacus?utm_source=chatgpt.com "pytorch/opacus: Training PyTorch models with differential privacy"
[7]: https://arxiv.org/html/2205.13648v4 "A Unified Analysis of Federated Learning with Arbitrary Client Participation"
[8]: https://arxiv.org/abs/2208.01736?utm_source=chatgpt.com "Federated Deep Reinforcement Learning for Resource Allocation in O-RAN Slicing"
[9]: https://wiot.northeastern.edu/news/northeastern-university-launches-o-ran-otic-for-next-generation-cellular-networks-in-the-open6g-hub/?utm_source=chatgpt.com "Northeastern University launches O-RAN OTIC for Next-Generation ..."
[10]: https://wiot.northeastern.edu/news/o-ran-digital-twin-platform-co-funded-by-o-ran-alliance-powers-research-and-innovation-in-ai-and-open-ran/?utm_source=chatgpt.com "O-RAN Digital Twin Platform Co-Funded by O-RAN ALLIANCE ..."
[11]: https://arxiv.org/abs/2208.14394?utm_source=chatgpt.com "Evolutionary Deep Reinforcement Learning for Dynamic Slice ..."