# 深層学習 オータムセミナー

## ほーし
### 教材(積読)
- [Sutton本](http://incompleteideas.net/book/the-book.html)
- [無料版多分これ](https://web.stanford.edu/class/psych209/Readings/SuttonBartoIPRLBook2ndEd.pdf)
- [• Deep Reinforcement Learning(UCバークレー・CS285)
• 強化学習の基礎から関連手法まで(全21回)](http://rail.eecs.berkeley.edu/deeprlcourse/)
- [• Advanced Robotics(UCバークレー・CS287)
• ロボット制御の数理最適化・強化学習(全25回)](https://people.eecs.berkeley.edu/~pabbeel/cs287-fa19/)
- [• Advanced Deep Learning and Reinforcement Learning(UCL)
• 英DeepMind提供のUCL大学院講義(全20回)](https://www.youtube.com/playlist?list=PLqYmG7hTraZDNJre23vqCGIVpfZ_K2RZs)

### あとで調べたい
- 
- 
- p18 UCB(Upper Confidence Bound),Thompson Sampling等, 様々なアルゴリズムが考案されている
- p18 多腕バンディット問題
- オンライン広告,推薦システム,A/Bテスト,医療の投薬等
- p19 戦略ゲーム
- 経営戦略,政策,金融トレード,システム制御等

### メモ
- 
- Atari
- 実機
- ゲーム
- 収益の期待値を示す価値関数を「方策の良さ」を示す目的関数として用いる
- 状態のみで判断　ー　行動も考える
- greedy方策
- 最も高いQ値
- プランニング（モデルベース）
- 環境=状態遷移確率,報酬関数
- 囲碁、将棋のルールを知ってる
- 
- ルックアップテーブルの関数(つまり表！)
- Q^pi 推定
- 
- ちょっと正しくなる
- 
- 関数近似　ピクセル単位のずれで別状態と認識→状態数が増える
- 内発的報酬の例
- n疑似カウントベース⼿法（Pseudo-Count）
- n状態のハッシュ化を⽤いたカウントベース⼿法
- 予測誤差による内発的報酬⽣成
- 既に観測した遷移は予測精度が⾼くなり（⼆乗誤差が⼩さくなる），観測が少ない遷移は予測精度が低くなる（⼆乗誤差が⼤きい）
- →この予測誤差を内的報酬とすれば，未知状態への探索を促進可
- 何度も選択した⾏動を選択すると，内発的報酬は小さくなる
- 迷路で何回も同じ道をいかない
- NoisyTV problem
- 常に観測がランダム変化することで，予測器の学習が意味をなさず，TVを観測する状態に⾼い報酬が⽣成されるため
- 環境内の無意味な情報を無視できる特徴抽出が必要
- マリオのコインのぴこぴこ
- IＣＭ (Intrinsic Curiosity Module)
- 逆モデル
- VIME
- 環境に対する情報量の改善＝好奇⼼とし，情報量が改善されるような状態遷移に対して多くの内発的報酬を付与
- Montezumaʼs Revenge
- Go-Explore
- 
- 世界モデル
- 
- こんなに上手く圧縮できるものか？
- 
- シュミレートできる？すご!
- [Uploading file..._vbz777j8f]()
- MuZeroは囲碁のルールを知らない？で0から学習
- 
- 潜在状態での予測とは？
- NGU
- 

### 疑問点
- p8 →純粋にモデルフリーRLでAtariタスクを解く手法はあまり意味がなくなる とは？
- p8 モデルベースと世界モデルの違いは？
- 部分観測マルコフ決定過程(Partial Observable Markov Decision Process; POMDP)
- ベルマン方程式の式変形ガチでずっとわからん(色んなバージョンがある)
- p27 囲碁や将棋におけるのMDP(状態遷移確率,報酬関数)が既知というのをちょっと想像できないのですが、詳しく説明してほしいです
- 強化学習の文脈でモデルが既知というと2種類の場合があり，文字通り各状態で各行動を取った時の各次状態への確率が全て既知の場合と，単に各状態で各行動を取った時の次の状態をシミュレートできる場合です．囲碁や将棋は後者に相当します．例えば相手の行動をとりあえず決め打ちして次の盤面に移る，というのを相手の行動を変えながら繰り返せば状態遷移を木を展開するような形でシミュレートできます．囲碁や将棋における報酬関数はシンプルで，勝ったら1，負けたら-1です．極めて長期的でスパースな報酬になってしまいますが，ご指摘の通り細かく報酬を設定するのはとても困難なので，このようになります
- ｐ31 昔の方策とは...?どうやって実装してる
- p34　SARSAのメリット デメリット
- なぜ方策を改善
- p38 なぜ関数近似で状態数が減るのでしょうか？（マリオの例）
- 厳密には関数近似によって状態数が減っているわけではなく，「状態数の長さのテーブルに価値を格納する」だと考え得るべきパラメータの数が状態数に依存しますが，「状態を入力にして価値を出力するニューラルネットにする」だと考えるべきパラメータの数がニューラルネットのパラメータ数になるので，状態数が膨大な場合には計算が楽になります
- そうなのか...?
- p51 L(θ) = ~ の式でEは何を意味しているのでしょうか
- EはExpectationで，期待値です．DQNでは更新を行うときに，状態行動対(s, a)をメモリから取り出してきて更新に用いるので，この期待値はメモリからランダムサンプルしてくる(s, a)に関する期待値です．
- θを使い回すと学習が安定しないのは，過学習とは一応異なると思います．θを使いまわすというのは，教師信号として自分自身を用いると言うことで，これは不安定性の一員になります．
- p35 TD（λ）/ 前⽅観測的な⾒⽅　がなぜ未来の経験を使っているのかわからない
- p36 この式is何？？
- 
- p40 状態⾏動価値にハイパーパラメータ（例：ε-greedyの ε）を加えて確率的な⽅策にしているため，⼈間の決め⽅によって結果が変わる　とは具体的に　どういうこと
- ｐ44 パラメトライズされた決定論的な⽅策μ_θとは?
- p52 DQNにおけるθとQの関係がいまいちわからない
- ｐ76 Noisy Network
- [参考になりそうなサイト](https://horomary.hatenablog.com/entry/2021/02/06/013412)
- p106 最後の行Q up left ではなく down right

### TODO
- 『機械学習プロフェッショナルシリーズ 強化学習(森村)』
- Categorical DQN p73
- TD（λ）/ 後⽅観測的な⾒⽅と適格度トレース p36
- Sutton本
- Categorical DQN p73
- NGU
- Agent57
- Sliding-window UCB
- 発展
- 世界モデル
- 模倣学習
- Behavior Cloning
- 逆強化学習(Inverse Reinforcement Learning)
- オフライン強化学習
- マルチエージェント強化学習
- ロボット学習
- 

## びーまか

### イントロ

- レトロゲームは殆ど強化学習で解かれてきている→もうやることないんじゃね？が2020年まで
- 学習が収束すれば解けることは分かったが、学習ステップが膨大すぎる→もっと少ない方法でできないか？が今の主流
- 自己教師有り学習と組み合わせることで短い学習回数で高い

### 第1部

- レベル1の内容は、2015年以降の教科書ならまずのっているから本読め
- レベル2も発展的だけど普通の教科書には載ってるよ
- レベル3は資料後半の方に案内あるからみてね

- ものすごい長いステップを終えた後に利益を得る必要がある
- **信用割り当て問題・貢献度割り当て問題**(調べたい)
- 18p **多腕バンディット問題**
- 19p 戦略ゲーム、長期的な戦略のためにどの程度の報酬を与えたらいいのか分からなくなりそう
- 短期的には－の報酬だが、長期的に報酬を得る**戦略ゲーム**
- 20p マルコフ決定過程
- **マルコフ性** 現在の状態と行動のみに依存して次の時刻の状態が決まる性質
- なぜならそうしないと選択肢が無限に増えてしまう
- マルコフ性が無い言語処理を無理やり強化学習したりも本当はしてるけどね
- 22p 部分観測マルコフ決定過程…過去の状態や行動に依存してしまう状態
- 24p ソフトマックス方策忘れた
- 25p **ベルマン方程式**
- 現在の状態sにいるとして、その後報酬をどれだけ得られるか期待値を取っていく
- 状態遷移確率あったよね、ある状態である行動をとると確率的に別の状態に行くことがある
- 第1項、期待値を取る
- 第2項、じゃあそれでそれくらいの報酬を得るのか
- 漸化式のような再帰的な式になっているよ
- 現在の状態でどういう行動をとったらどういう報酬を得られるのかが分かるらしい
- 確率的に現在の状態から飛ぶ可能性がある各状態に対して報酬とその先の価値関数の期待値を取っているのがベルマン方程式
- 26p 方策改善(プランニング・強化学習)
- 29p テーブル形式の強化学習(ルックアップテーブルの関数)
- モデルの定義が人によって違っている
- モデルベース強化学習が全部世界モデルと言われたら疑問
- 30p **TD学習**
- 1回行動したら、1ステップデータ分の経験をもとに勝ち関数を逐次的に更新していく
- Δは時間的差分誤差、予測値の差分、環境からもらえる報酬は予測値より正確性が高い
- 31p 方策オフ手法の方が一般的らしいよ？
- 34p Q学習のやつ＋確率的にa_{t+1}の行動をとる、Q学習より1ステップ多くみてる

### 第2部

- 深層学習がもつ高い関数近似能力を使って価値関数なや方策表現する
- 53p 1海溝どうしたら経験を保存する、データのセットいっぱいたまったらどっかのタイミングでドバっと再生する
- 画像認識のミニバッチ十なしよ
- 今までは1回行動してそのデータさよならだたら、後ほど利用できるようにしてる

### 第3部