# Ovarian Cysts Classification Using Novel Deep QLearning with Harris Hawks Optimization Method
發表於2023年
是唯一一篇關於強化學習應用在卵巢的研究

卵巢是女性生殖系統中重要的部分，因為它們產生受精所需的卵子或卵細胞。囊腫常常影響女性卵泡，因此巨大的卵巢囊腫可能導致扭轉、不孕和癌症。因此，通過超聲波快速進行診斷檢查來卵巢囊腫非常重要

此研究提出了一種對描述七種卵巢囊腫的超聲波診斷圖像進行分類的解決方案

- 卵泡囊腫
- 出血性囊腫
- 黃體囊腫
- 多囊卵巢外觀
- 子宮內膜異位囊腫
- 皮樣囊腫
- 畸胎瘤

研究目的是開發一個電腦輔助診斷系統，準確描述和解讀超聲波卵巢異常的圖像。
過去的研究主要集中在醫學影像的特徵提取和分類方法，而對於超聲波卵巢異常的影像識別技術尚未有深入探討。
基於深度強化學習和Harris Hawks優化的新技術，用於超聲波卵巢囊腫的分類。
使用主動學習機制來識別卵巢囊腫，該方法使用增強學習算法來自動檢測圖像分類標準。
使用HHO改進從DQN中提取的超參數。
通過對圖像數據集使用不同的CNN模型進行實驗，結果表明使用增強學習算法對卵巢囊腫進行分類的主動學習可以改善現有方法的性能。

### 架構
1. 預處理：對圖像進行預處理，包括去除噪音和增強圖像特徵。
2. 特徵提取：使用卷積神經網絡（CNN）技術從圖像中提取特徵，將圖像特徵作為條件用於後續的強化學習算法。
3. DQN-HHO分類器：使用DQN-HHO（Deep Q-Network with Harris Hawks Optimization）分類器對圖像特徵進行分類，這是一種利用群智能優化方法產生最佳超參數的DQN模型。
4. 分類：根據分類器的結果，對卵巢囊腫圖像進行分類，識別七種不同類型的囊腫。

該框架利用預處理、特徵提取和DQN-HHO分類器的結合，實現了對卵巢囊腫的自動分類。

首先選擇卵巢超聲波圖像數據集，並使用Wiener濾波器對其進行預處理，以消除不必要的噪音和錯誤。然後使用CNN進行特徵提取，以提高分類的準確性。再使用DQN和HHO對特徵進行分類。反向傳播是使用HHO的DQN訓練方法。HHO被用於優化DQN的超參數

### RL

在這篇論文中，強化學習（Reinforcement Learning）被應用於卵巢囊腫圖像分類的主動學習過程中。

論文中使用的是一種基於深度強化學習網路（Deep Q-Network，DQN）的方法。DQN是一種透過將深度神經網路與強化學習相結合的方法，可以自動學習數據選擇準則。

首先，通過定義動作空間、狀態空間和獎勵函數，建立了一個基於強化學習的主動學習算法。這個模型類似於VGG-16網路模型，包括五個卷積塊，其中兩個卷積層，另外三個卷積塊每個包含三個卷積層和一個完全連接層，輸出一個52維的特徵向量。DQN的設計分為兩個分支：Q網路分支和分類分支。Q網路分支用於反映強化學習代理，用於分類的Q網路分支由兩個全連接層組成。輸入包括功能描述𝑖𝑑𝑖和來自分類分支的穩定的Softmax輸出𝑓(𝐼𝐷𝑖)。Q網路的性能被表示為一個2D向量，其中1D表示動作𝐴𝑆𝑖=0，另一個表示動作𝐴𝑆𝑖=1。根據Q網路的輸出，強化學習代理將選擇具有最高值的動作。

在訓練過程中，通過建立元組(𝑠𝑖𝑡, 𝐴𝑆𝑖𝑡, 𝑟𝑖𝑡, 𝑠𝑖𝑡+1)來描述強化學習代理的轉移過程。它表示在當前狀態𝑠𝑖𝑡下，如果代理在執行動作𝐴𝑆𝑖𝑡時獲得獎勵𝑟𝑖𝑡，則當前狀態轉移到下一個狀態𝑠𝑖𝑡+1。

論文使用深度Q學習方法來研究數據選擇策略𝜋，通過映射函數𝑄(𝑠, 𝐴𝑆) → 𝑅來評估從狀態𝑠中選擇動作𝐴𝑆的效率。在深度Q學習中，基於在每個卵巢囊腫圖像中獲得的獎勵，RL代理根據Q值函數𝑄(𝑠, 𝐴𝑆)做出決策。

論文中還介紹了DQN的目標函數（Objective Function）𝑂𝐹 DQN的目標函數𝑂𝐹用於最佳化網路的權重，以減小誤差並提高圖像分類準確性。在每次疊代中，權重值進行微調，並對網路進行訓練，

其中，𝐷𝑣𝑖表示期望值，𝑃𝑣𝑖表示預測值，𝑁表示卵巢囊腫圖像的數量。

在這個框架中，強化學習與Harris Hawks Optimization（HHO）方法結合使用。HHO是一種基於群體協作的最佳化算法，模仿了哈里斯鷹在追蹤、包圍、接近和攻擊潛在獵物的行為。HHO算法包含了探索和開發兩個階段。在探索階段，鷹會在意想不到的時候翻轉身體，評估不同的區域並跟蹤識別獵物。在開發階段，鷹會採取跳躍和攻擊的策略來操縱獵物的周圍環境。HHO算法中的位置被建議作為聲音系統。根據不同階段的不同策略，HHO分為尋找獵物和捕獵獵物兩個階段。

透過將HHO與DQN結合，論文提出了一種自動學習數據選擇準則的框架，以最佳化卵巢囊腫圖像分類模型的性能。實驗結果表明，該方法在精度、F-measure、召回率、準確率和IoU等方面優於傳統的ANN、CNN和AlexNet模型。該方法的精度達到了96%、F-measure達到了96.5%、召回率達到了96%、準確率達到了97%，IoU為0.65。

總之，本研究通過強化學習算法和HHO最佳化方法實現了卵巢囊腫圖像分類的主動學習過程，並取得了較好的分類結果。這種方法有望應用於其他領域，對於提高深度神經網路的不確定性建模能力也具有一定的啟示。

### 結果