tags: reinforcement learning

深度強化學習 Ch5 : Actor-Critic Model

1. 簡介

Actor-Critic 綜合了策略梯度法以及 Q-Learning 的特性，
會利用 [價值函數] 來評估 s 狀態的價值 (注意，這邊價值為狀態價值

$V_{\pi }$ )
並利用 [策略函數] 輸出 s 狀態動作的分布機率來決定 action，
執行動作後，再利用得到的 Return 和剛預測的價值計算 "advantage" 來衡量動作好壞

可以把 actor critic 看成兩個神經網路，分別代表以下功能 :

- Actor(演員) : 也就是 [策略函數]，用來決定接下來的動作
- Critic (評論家) : [價值函數] 用來評估狀態的價值

利用 actor 和 critic 相互評估學習後得到更好的模型
概念上與 GAN 雷同 !

2. Advantage 優勢值

優勢值可以說是用來衡量在 "某個狀態" 做 "某個動作" 的好壞 (不跟價值搞混所以稱"優勢")，
用以下舉例來解說 :
當我們在 [ 狀態t ] 時，此狀態資料會被做兩件事情
會分別送入兩神經網路 (actor、critic) 計算價值
(如下圖)

當我們有 [狀態價值] 和 [動作的 Return] 後就可以計算 advantage

$Advantage=(R-V^{\pi }(s))$

直觀意義就是，實際這個狀態下產生的價值，減去預測的價值

3. 演算法步驟

概念程式碼

gamma = 0.9
for i in epochs:
    state = environment.get_state()
    # Critic
    state_value = crtic(state)
    
    # actor
    policy = actor(state)
    action = policy.sample()    # 選擇動作
    next_state, reward = environment.take_action(action)
    
    # 計算 advantage
    value_next = crtic(new_state)
    advantage = (reward + gamma*value_next) - state_value
    
    # 計算並最小化 loss
    loss = -1 * policy.logprob(action) * advantage
    minimize(loss)

!!! 概念上還在研讀 (停耕)