最終更新日：2026年8月26日
gk reinforcement_learning
G検定トップ
＞ REINFORCEとActor-Criticの違いとは？G検定対策
まず結論
- REINFORCEは、基本形ではモンテカルロ収益を使って方策を直接更新します。
- Actor-Criticは、Actorが方策を更新し、Criticが価値を推定してその更新を助ける枠組みです。
- G検定では、Criticによる価値推定を使うかが大きな判断軸です。
直感的な説明
- REINFORCE：最後までやってみて、結果を見て方針を修正する
- Actor-Critic：行動しながら、評価役のCriticから途中でフィードバックを受ける
Actor-Criticでは価値推定を使うため、REINFORCEの基本形より勾配推定の分散を抑えやすくなります。
定義・仕組み
REINFORCE
- 方策
π(a|s; θ)を直接最適化 - 基本形ではモンテカルロ収益を利用
- 価値関数を学習するCriticは持たない
- ベースラインを加えて分散を下げる拡張は可能
Actor-Critic
- Actor：方策を更新
- Critic：V値やQ値などを推定
- Criticの評価を使ってActorの更新を助ける
いつ使う？（得意・不得意）
REINFORCE
- 方策勾配法の基本を理解しやすい
- 実装が比較的単純
- 一方で分散が大きくなりやすい
Actor-Critic
- 価値推定を利用して更新を効率化・安定化しやすい
- ActorとCriticの両方を学ぶため構成は複雑になる
G検定ひっかけポイント
よくある誤解
- ❌ REINFORCEはQ値を直接学習する
- ❌ Actor-Criticでは方策を学習しない
- ❌ REINFORCEはどんな拡張でも価値情報を一切使わない
最後は強すぎる表現です。基本形のREINFORCEにはCriticがありませんが、ベースラインとして価値推定を使う拡張はあります。
判断基準
- 「モンテカルロ収益で方策を直接更新」→ REINFORCE
- 「Actor＋Critic」→ Actor-Critic
- 「Criticが価値を推定」→ Actor-Critic
まとめ（試験直前用）
- REINFORCE＝基本形はモンテカルロ型の方策勾配法
- Actor-Critic＝Actorが方策、Criticが価値
- Criticを使うことで分散を抑えやすい
- 「価値関数を絶対使わない」と一般化しすぎない
- Criticの有無が最短の判断軸