# PJ 的課題 - 瓶頸定義 - pod 數量對效能關係 (scalability) - 如何使用 prometheus API (還有 K8s API、service mesh API ...) # UK 的課題 1. web介面,使用者丟工作,該怎麼負載平衡,網路頻寬分配 2. 工作丟到哪台電腦執行 3. 微服務在某台電腦上獲得多少資源,使得電腦負載平衡 - 明確找出負載平衡的最終目標 - 如何做到負載平衡 - 工作要加到哪台主機上 - 加完之後要分配多少資源 ## 本週做的事 - 原先修改演算法的部分,老師覺得修改節點的資源相對權重沒有意義。 - 因為資源權重應該是看服務的性質去決定,而不是看機器 -> 所以決定多看一些論文怎麼做,讓自己有其他的啟發 - 在看了許多篇論文後 - 列舉論文在講啥之類的 - ... - 回想當初老師給的題目,想到使用者公平性跟負載平衡 - 當前文獻 - 目前有單一做公平性、單一做負載平衡。但公平性以及負載平衡一起考慮的,只看到一篇2023年老師跟學長發表的文章,所以我覺得這部份能做 - 考量蟻群演算法多個目標綜合評估的方式 https://ieeexplore.ieee.org/abstract/document/8744199 - 用這樣的方式進行修改,對每一個分配方式進行評分 ![image](https://hackmd.io/_uploads/SkbyMR2h6.png) - 公平性 - user 的 (DRF主導資源) - 負載平衡 - 主導負載 : 節點負載最高比例的資源,參考主導資源將最高負載最小化,可以讓負載平衡效果佳 - 參考 [https://ieeexplore.ieee.org/abstract/document/7980072](https://) - 評估負載平衡 - Jain's fairness index - 提供一個看叢集是否平衡的評估方式 - 帕雷托效率 - 現在 \*Pareto efficiency # K7 的課題 1. 真的可以加速嗎? - 比較效能 基準如上課講的,演算法兩個的步驟花費時間一樣,阿巴阿巴 <font color='red'>兩種方法吧,一種是國科會那樣,將蝗蟲嵌進螞蟻裡面,另一種是螞蟻找出幾個解之後,在給蝗蟲,更加符合最佳化初始值的感覺 </font> 2. 再看看相關文獻,看能不能結合那兩個演算法(螞蟻、蝗蟲) <font color='red'>不太確定這個問題的關鍵,認為是可以結合的,因為兩者的解空間是一樣的。在解空間一樣的前提下,我認為這兩個演算法是可以結合的,至於解空間不一樣的情況就不知道了。 </font> 3. 帕雷托效率 - 試著讓演算法符合帕雷托效率 <font color='red'>很怪阿,使用啟發式演算法所尋找出來的解不能保證一定符合 pareto efficiency ,頂多「考慮」或者將 pareto efficiency 對於解的評估分數優先級調最大。(設計 tradeoff 公式?)<br>那如果要在這個部份上做保證,會考慮先計算符合 pareto efficiency 的基礎分配數量,再去使用啟發式演算法做剩餘資源的分配。<br>前面的部分可以考慮 DRF 或 DRFH ,或者自己想一個。另外也可以嘗試調整 pareto efficiency 的判斷基準,使其符合我們所設計的解空間(但我想不到)。 </font> - 另一個想法,改變公平性的判斷基準? <font color='red'>帕雷托效率只是一個概念,在不確定如何將其量化成一個可供評估的值的情況下,發現有 [Jain's fairness index](https://en.wikipedia.org/wiki/Fairness_measure#Jain's_fairness_index) 此一評估基準。其將公平性量化在 0 到 1 之間,因此認為可作為評估基準。那問題在於,我該整個系統的使用者加起來計算,還是對於分配在每台機器上的使用者使用數量計算完再做平均? </font> a. 在每台機器上考慮所有 jobs 公平性的分配,但可能導致系統效率無法最大化;反過來說,直接在系統上考慮所有 jobs 的分配,會延伸出另一個問題,每個 job 該怎麼分配到機器上? 對使用者來說,他只看到所有 jobs 的分配數量,不考慮系統;對系統來說,又要考慮到所有機器。兩者關注的方面難找到一個相同的部分? 文獻: [1]認為 ACO 在符合 pareto 上會有缺點,引入 DNSGA-II 。 DNSGA-II 是一種基因演算法的變體,用以最佳化多目標問題。其利用全域最優逼近法獲得帕雷托最優解集,提供多種選擇。 [2], [3] 不確定如何計算出 pareto 的評估值 [3] 提出一個會「進化」的帕雷托演算法(類似機器學習?) [4] 使用一個 p-approximation 的方法去得到 pareto 的評估值大小,但還沒看懂 [5] 使用 f(x, ai) 計算 pareto 的評估值,但沒看到 f 是怎麼定義的 [6] 認為 $\alpha$-fairness 在使用者數 > 2 的情況下並不符合 jain-fairness。提出了一個 efficiency-jain tradeoff policy [7] 基於 DRF 提出了 DRBF ,與 DRF 相較,其具有更好的不同資源的平衡公平性 [8] 提出了一個啟發式的演算法去最佳化 fairness-efficiency allocation ,對於公平性的評估,參考 [10] [9] 對多資源的 fairness-efficiency tradeoff 提出了一個框架,提供兩種公平性的函數,分別為如 DRF 的資源佔比,及直覺的任務數量。對於公平性的評估也參考 [10] [8], [9] 都參考了 [10],因此對於公平性的函式裡會有 $\beta$ 及 $\lambda$ 的參數需要做調整 [10] 提出測量公平性的公理 1. [A Multi-Objective Optimization Method for Maritime Search and Rescue Resource Allocation: An Application to the South China Sea](https://www.mdpi.com/2077-1312/12/1/184) 2. [ An effective ant colony optimization algorithm (ACO) for multi-objective resource allocation problem (MORAP)](https://www.sciencedirect.com/science/article/pii/S0096300307010971?casa_token=VEi05x7W3I4AAAAA:JTQCle005BF9bJ1iMNzbBufcJn9zzLFXQzOjMy2N77lz9m6sf_Wqlz5feCknJo1pGb0CAzzm7w) 3. [A Pareto evolutionary algorithm based on incremental learning for a kind of multi-objective multidimensional knapsack problem](https://www.sciencedirect.com/science/article/pii/S0360835219303572?casa_token=8Za0ZzHBfO8AAAAA:wNJU53kF-gZMBuKglswjnJsqFjQlD79CJBUblRjPIGVnP8XFdxo0uBxJBWHBwhUYIe9axgda-g) 4. [Approximating Multiobjective Knapsack Problems](https://pubsonline.informs.org/doi/abs/10.1287/mnsc.48.12.1603.445) 5. [ Stability of Pareto optimal allocation of land reclamation by multistage decision-based multipheromone ant colony optimization](https://www.sciencedirect.com/science/article/pii/S2210650213000485?casa_token=J3dmkGH2Gh8AAAAA:w8WqYU52ze-A9zg8TWr19PcVkb1VrVj7nb8dE6Or0FXnLmffh3dVpz6pw7-LpdeHg945TziCbw) 6. [Optimal Tradeoff between Efficiency and Jain’s Fairness Index in Resource Allocation](https://ieeexplore.ieee.org/abstract/document/6362851) 7. [A new multi-resource allocation mechanism: A tradeoff between fairness and efficiency in cloud computing](https://ieeexplore.ieee.org/abstract/document/8331991?casa_token=VnvjOEPdTtkAAAAA:6Za-VkBD48ksGi4Yk3S5dn5xEmvjYPq2sLzUW-NDjqFOUA_x0KcT7eDRu9g3NeJBRsXMRF5FtxpE) 8. [Fairness-Efficiency Allocation of CPU-GPU Heterogeneous Resources](https://ieeexplore.ieee.org/abstract/document/7529144?casa_token=UONI8jVurhEAAAAA:CK1HDB8k3rpTXcLmaUgCTbhxK-AmXJWA_5t1fQZb_Mrfny-7gvLpE99UiYl4SacDlMyT9lSF03Gy) 9. [Multiresource Allocation: Fairness–Efficiency Tradeoffs in a Unifying Framework](https://ieeexplore.ieee.org/abstract/document/6403598?casa_token=DxJbp0t63WgAAAAA:nzD8nduSjc2o8oIoldNAvp-vi17j90H9XYkQkvUUuVPNWaoWcaywMSoW0_Hstl-84NU5ToW5C1yV) 10. [Measuring fairness: Axioms and Applications](https://ieeexplore.ieee.org/abstract/document/6120163) # 其他人的課題 幫啃論文 https://scholar.google.com.tw/ https://sci-hub.wf/ https://www.chatpdf.com