最終更新日：2026年7月18日

gk reinforcement_learning

G検定トップ ＞ REINFORCEとは？（方策勾配法）G検定対策

まず結論

  • REINFORCEとは、実際に得た収益を使って、方策そのものを直接更新するモンテカルロ型の方策勾配法です。
  • G検定では、価値ベース手法ではなく、確率的方策を直接最適化する手法と判断します。

直感的な説明

REINFORCEは、

うまくいった行動は次から選びやすくし、うまくいかなかった行動は選びにくくする

という学習方法です。

たとえば、ある状態で行動Aを選び、その後に高い報酬を得たなら、

  • 同じ状態で行動Aを選ぶ確率を上げる

ように方策を調整します。

ただし、すぐ後の報酬だけではなく、エピソード終了までに得た将来報酬の合計（収益）を使います。

定義・仕組み

REINFORCEは、方策

π(a|s; θ)

のパラメータ θ を、期待収益が大きくなる方向へ更新します。

学習の流れは次の通りです。

  1. 現在の方策に従って、エピソード終了まで行動する
  2. 各時点から先の収益を計算する
  3. 高い収益につながった行動の選択確率を上げる
  4. 低い収益につながった行動の選択確率を下げる

重要な特徴は次の通りです。

  • 方策を直接更新する
  • 確率的方策を扱える
  • エピソード全体の結果を使うモンテカルロ法
  • 基本形では学習用の価値関数を持たない

一方、収益のばらつきが大きいため、学習が不安定になりやすいという弱点があります。

いつ使う？（得意・不得意）

得意な点

  • 確率的な行動選択が必要な問題
  • 方策を直接表現したい場合
  • 方策勾配法の基本を理解する教材

不得意・注意点

  • エピソード終了まで待つ必要がある
  • 収益の分散が大きい
  • サンプル効率が低い
  • 長いエピソードでは学習が不安定になりやすい

G検定ひっかけポイント

Q学習との違い

  • Q学習：行動価値を学び、価値が最大の行動を選ぶ
  • REINFORCE：方策の選択確率を直接更新する

Actor-Criticとの違い

  • REINFORCE：エピソード収益をそのまま使う
  • Actor-Critic：Criticが価値を推定し、Actorの更新を助ける

Actor-Criticは、REINFORCEの高分散という弱点を緩和する方向の手法です。

ベースラインとの関係

REINFORCEでは、収益からベースラインを引くことで、平均的な結果より良かったか悪かったかを判断できます。

  • ベースラインを引いても、方策勾配の期待値は変わらない
  • ただし分散を小さくでき、学習を安定させやすい

判断基準

  • 「確率的方策を直接更新」→ REINFORCE
  • 「エピソード終了後の収益を使用」→ REINFORCE
  • 「Q値を学習」→ Q学習・DQN
  • 「ActorとCriticを使用」→ Actor-Critic

まとめ（試験直前用）

  • REINFORCEは方策勾配法
  • 方策を直接更新する
  • エピソード収益を使うモンテカルロ型
  • 分散が大きく学習が不安定になりやすい
  • Actor-Criticは価値推定で更新を補助する

© 2024-2026 stemtazoo. All rights reserved.