FunAI 教材討論
====
:::info
12/12 晚上第一版本投影片修正確認
如果有使用到網路的圖片或範例都要在下面貼上參考連結
:::

## 參與人員
### 進階組
文正、
政瑋(?)、
品萱、依婷（花費時間：8 小時）
杰穎、紹宏 ( 花費時間: 8 小時)
筱薇、依璇（花費時間：2 小時）
景璞、本耀 ( 花費時間: 8 小時)
彬彬、億龍（花費時間：8 小時）
其龍、容正 (花費時間: 8 小時)

## 去年的錄影
https://youtube.com/playlist?list=PLDXADJ7kFZyosK8LQRbCa711MCjg3IwIL

## 投影片檔案
https://drive.google.com/drive/folders/1Twses99fQD1q43C0i15KdEl-ZSCSLeYN

## DL01 - Neural Network
- 負責人：景璞、本耀
* Page 5: 解釋函式作用
* Page 7: 加解釋數學符號（粗體是矩陣...）
* Page 11: 改成另一種解釋：每個 layer 會把每個點 mapping 到另一個 space 上面 (feature transformation)，這樣最後就可以透過一條直線把資料分類
* Page 12: 用 "Universality" 代替原本的解釋：neural networks have a kind of universality. No matter what function we want to compute, we know that there is a neural network which can do the job. (http://neuralnetworksanddeeplearning.com/chap4.html)
* Page 16: 投影片：Ok。加解釋： Error function 的意義，目的是把 Error function 最佳化（找出 **w** 參數使 Error function 得到最少值），可以透過微分進行最佳化
#### 修改內容
* 以老師 MMsports課程例子來修改投影片，並重新錄製。

## DL02 - Pytorch CNN
- 負責人：杰穎、紹宏
* Page 4-6: 可講可不講
* Page 8：講inherit的概念，右下照片錯了（Forward的地方沒用到 x）
`output = self.conv1(x)`
* Page 9：講custom dataset
* 加一頁 useful link：pytorch tutorial ...

## RL01 - Introduction
- 負責人：杰穎、紹宏
* 順序調整：先講有趣的例子再講RL
* 找幾個近期好玩有趣的例子（有影片佳）
* ICRA2021, Gran Turismo(賽車遊戲)https://www.youtube.com/watch?v=e8TVPv4D4O0&ab_channel=UZHRoboticsandPerceptionGroup
* 馬力歐的例子換成打磚塊（較不複雜）
* 加上文字幫助了解什麼是action, agent, environment, reward

## RL02 - Markov Decision Process
- 負責人：筱薇、依璇
- P9 投影片可以文字補充前面提到的Markovian property的定義
- 所有的過程都有隨機性, 下一個狀態轉移只與現在這個狀態有關
- P17 可以補充說明discount factor的用處
- 考慮action時，需同時考慮現在與未來的總reward，而現在的reward又會比未來更重要
- P19 可以加上文字介紹Deterministic與及Stochastic的不同之處 :
- Deterministic (某一個狀態s的策略應當是固定的，其概率始終為1，不會發生改變)
- Stochastic (在這個狀態上所有的動作都存在一個被選到的概率，動作是根據策略得出的分佈中sample出來的)

## RL03 - Bellman Equation
- 負責人：彬彬、億龍
#### 修改內容（底線代表新增的內容）：
1. （已修改：[參考內容](https://spinningup.openai.com/en/latest/spinningup/rl_intro.html)）增加 return 的用途
5. （已修改：[參考內容](https://spinningup.openai.com/en/latest/spinningup/rl_intro.html)）12 頁及 17 頁增加 pi、Transition Probability 的註解

## RL04 - Dynamic Programming
- 負責人：景璞、本耀
* Page 5: 加解釋右下角的圖（白色節點是 State, 黑色節點是 Return）
* Page 10, 19: 加指出 Dynamic Programming 被應用哪裏
#### 修改內容
* 最終並未修改簡報。
## RL05 - From MDP to RL
- 負責人：品萱、依婷
- 這章比較屬於大架構的 overview，內容上較分散。感覺在每一個小 part 前面可以先說清楚與前一小 part 的關係可能可以更好理解
- p11: 可以增加定義且用例子說明 Discrete, continuous environments 兩種差異，不然好像有點跳太快@@ $\rightarrow$ [可參考](https://medium.com/swlh/states-observation-and-action-spaces-in-reinforcement-learning-569a30a8d2a1)

## RL06 - Value-based Method
- 負責人：品萱、依婷
- p5: **投影片**可以加上 RL03-Bellman 的圖示、符號Notation，可能更好理解
- p6: **投影片**可以加上圖示例子以說明公式
- p11: **影片**有提到遞迴更長的展開，可以補充公式在**投影片**的旁邊輔助說明
- p11: $r_{t+1}$ **影片**講正確的信號(?)，但可能用 reward 會更貼切
- p14: **投影片**可以再放一次 Q-Table 幫助了解
- p22: **影片**內容可以利用左邊演算法的圖對 DQN 做一個總結，不然好像有點不知所以XD $\rightarrow$ [可參考](https://medium.com/雞雞與兔兔的工程世界/機器學習-ml-note-reinforcement-learning-強化學習-dqn-實作atari-game-7f9185f833b0)

## RL07 - Policy-based Method
- 負責人：彬彬、億龍
#### 修改內容（底線代表新增的內容）：
1. （已修改：[參考內容1](https://www.statology.org/interpret-log-likelihood/)、[參考內容2](https://www.investopedia.com/terms/e/expectedreturn.asp)）6 頁增加 Log-likelihood 及 Expected return 的註解（會越傾向將走的越好的路徑做 gradient）
2. 6 頁刪除 Compared with maximum log-likelihood 的文字敘述

## Lab01 - Q-Learning
- 負責人：筱薇、依璇
- P5更改指令部分，規定gym版本為0.24.0
- 有另外找到[Lab影片](https://drive.google.com/drive/folders/1Lno6hCD9-LkVWCrLWj7uSINdDA43KKe7?usp=share_link)，內容講解詳細無須修改

## Lab02 - DQN Tutorial
- 負責人：其龍、容正
- P9
- 新增指令，限制gym版本為0.19.0
- P15
- 調整文字排版，增加action * k times文字註解
- P27
- 新增TD-error圖片輔助: [參考內容](https://hackmd.io/@shaoeChen/Bywb8YLKS/https%3A%2F%2Fhackmd.io%2F%40shaoeChen%2FSyqVopoYr)

## Lab03 - PPO Tutorial
- 負責人：其龍、容正