---
# System prepended metadata

title: 專題規劃

---

# 專題規劃


==============================
## RL 學習

#### 實做練習
- [x] 2048 作業
    - [x] after state
    - [x] before state
- [x] DQN 作業
    - [x] DQN
    - [x] Double DQN
    - [x] Dueling DQN
- [x] PPO 作業
- [ ] TD3 作業


#### 網上資源:
- 李弘毅老師影片: https://www.youtube.com/watch?v=z95ZYgPgXOY&list=PLJV_el3uVTsODxQFgzMzPLa16h6B8kWM_

- Shusan Wang 影片: 
https://www.youtube.com/watch?v=vmkRMvhCW5c&list=PLvOO0btloRnsiqM72G4Uid0UWljikENlU

#### 需要了解的基本觀念
- [x] 基本環境
    - MDP 架構 
    - environment
    - state, observation
    - action
    - reward
    - value function, Q function
    - policy
- [x] 觀念
    - Bellman Equation
    - greedy v.s. epsilon-greedy
    - MC (Monte-Carlo) v.s. TD (Temporal Difference)
    - TD($\lambda$), n-step TD
    - value-based v.s. policy-based
    - on-policy v.s. off-policy
    - policy gradient
    - replay buffer
    - exploration v.s. exploitation
    - multi-agent
    ##### MARL
    - cooperative v.s. competition
    - problem
        - Non-stationary
        - Complexity
    - CTDE (Centralized Training Decentralized Execution)
    - IGM (Individual-Global-Maximum)

- [x] 常見模型
    value based
    - MC
    - TD
        - Q-learning
        - SARSA
    - DQN
        - Double DQN
        - Dueling DQN
    
    policy based
    - REINFORCE
    - Actor-Critic
    - TRPO, PPO
    - DDPG, TD3
    
    ##### MARL
    value based
    - VDN (Value-Decomposition Network)
    - QMIX
    
    policy based
    - IPPO
    - COMA
    - MAPPO
    - HAPPO
    
    
============================

## 交通概念

號誌控制方法
- [x] 名詞
    - phase (時向)
    - 時制
    - 路網
    - 流量

- [x] 主要的控制方法
    - fix time control: 固定順序跟每個 phase 的時間
    - select next phase: 固定 delta time, 每個 delta time 去決定要換到哪個 phase
    - switch next or not: 固定 delta time 跟 phase 順序，每個 delta time 去決定他要不要換到下一個
    - set phase duration: 固定好順序，每次決定 phase 的時長

- [x] 傳統方法
    - fix time
    - Max Pressure
    - SOTL
    - SCOOT

- [x] 常用的指標 (用於 observation or reward)
    - queue length
    - waiting time
    - throughput
    - delay

========================
## 目標: 
使用 CityFlow 模擬器，結合 Dynamic Sight Range 的方式，研究是否可以優化號誌控制績效，或是改善訓練效率

- [x] CityFlow
    - 需要先了解/熟悉 CityFlow 模擬器
    - 架接 multi-agent reinforcement learning 到模擬器上 (可能網路上已經有框架可以直接使用)
    - 可參考:
        - https://github.com/cityflow-project/CityFlow
        - https://arxiv.org/abs/1905.05217
        - https://cityflow-project.github.io/#about
        - https://github.com/cityflow-project/CityFlowER
- [x] Database
    找看看網路上的公開資料集
    例如:
    - 美國-紐約
    - 中國-杭州
    - 中國-濟南
- [x] DSR
    - 讀唯辰學長 DSR paper
    - 看 DSR code
- [ ] 實作


=================================

### 暑假期望
- [x] 熟悉 cityflow
- 具備基本的 RL 概念
    - 三項作業寫完
    - 大概知道經典演算法的概念
    - 了解 multi-agent 
- [x] 了解交通環境

- 如果把 DSR 讀完的話很猛