強化学習 のバックアップ(No.2)

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 強化学習 へ行く。
  • 1 (2017-04-11 (火) 18:13:25)
  • 2 (2017-04-11 (火) 21:12:03)
  • 3 (2017-04-11 (火) 22:25:08)

機械学習

概要 †

• ロボットって教科学習っぽい

参考 †

• http://yamaimo.hatenablog.jp/entry/2015/10/18/200000?

用語定義 †

• $t$回目に状態$s_t$にいる時に行動$a_t$を行って、状態$s_{t+1}$になると報酬$r_{t+1}$がもらえる。
• 表現がconfusingすぎる

• グリーディ
  • $\pi(s, a)$が確率ではない＝状態$s$に対する最適な行動$a$が一意に決まる

分類 †

• まとめ
• 状態モデルがわかっている場合
  • Bellman方程式に関して、動的計画法を行う
  • グリーディ、すなわち方策$\pi(s, a)=\pi(s)$としても問題ないことが証明できるらしい。
  1. 方策反復
  2. 価値反復（細かく更新できる）
• 状態モデルがわからない場合（モンテカルロ）
  • ES(開始点探査)を前提する場合
    • モンテカルロ-ES（方策$\pi(s, a)$はグリーディ）
  • ESを前提しない場合
    • 方策オン型モンテカルロ制御（方策は$\epsilon$グリーディ）
    • 方策オフ型モンテカルロ制御（推定方策$\pi(s, a)$はグリーディ、挙動方策$\pi'(s, a)$は$\epsilon$グリーディ）
• 状態モデルがわからない場合（TD法）
  • 方策オン型制御: Sarsa法
  • 方策オフ型制御: Q-learning
  • nステップ先まで見ることで、TD法とモンテカルロ法の間を取る方法: TD(λ)法というのがある（Sarsa(λ)や、Q(λ)）
    • WatkinsのQ(λ)については、あまり適格度トレースの恩恵を受けること出来ないみたいで、学習速度はQ学習からあまり改善されないらしい。一方、PengのQ(λ)はSarsa(λ)法と同程度の性能は出るものの、実装が複雑らしい

疑問 †

• $\mathcal{R}^{a}_{ss'}$ はなんで期待値なの？$r_{t+1}$って確率変数ではなく、確定しないのでは？(これ)→確率変数です
  • ここでも、報酬は期待値として表現されてはいない
  • n本椀バンディットを想定すると、「状態Sで、i番目のバンディットを試して、状態Sになった時に得られる報酬」は、エージェントから見るとスロットはランダムなので、$r_{t+1}$は確率変数である。(n本椀バンディットでは、状態は1個しかない。これをSと表している。)
• 「方策が決定論的だと、探査が行われない状態行動対が出てきてしまうことが考えられる。そこで、知識利用と探査をバランス良く行うために、工夫が必要になってくる。」の意味は？
• 終端状態についてはどうするの？
  • ただし、s′が終端状態の場合、Qs′,a′は0とする。

ポリシーの作り方 †

• $\pi_t(s, a): \mathcal{S} \times \mathcal{A} \rightarrow [0, 1]$は、$Q_t(s, a): \mathcal{S} \times \mathcal{A} \rightarrow \mathbb{R}$によって恣意的に決める
  • グリーディ: $Q_t(s, a)$が最も高い行動$a$のみ選ぶ
  • $\epsilon$グリーディ: $Q_t(s, a)$が最も高い行動$a$のみ選ぶ
  • soft max: $Q_t(s, a)$を温度で重み付けした確率で選ぶ

Tips †

• Q学習の方は推定方策と挙動方策が分かれているので、理論的には解析がしやすいらしい。そういった意味で、Q学習は重要とのこと。