最終更新日：2026年8月22日
gk reinforcement_learning neural_network
G検定トップ
＞ Q学習と方策勾配法の違いとは？【G検定超重要対比】
まず結論
Q学習は「行動価値関数Q」を学ぶ手法、
方策勾配法は「方策」を直接最適化する手法です。
G検定では、何を直接更新しているかを見ると切り分けやすくなります。
直感的な説明
- Q学習 →「この行動はどれくらい得か？」を数値で学ぶ
- 方策勾配法 →「この状況で、どの行動をどれくらい選ぶか」を直接学ぶ
つまり、
- Q学習＝価値を学んで行動を決める
- 方策勾配＝行動の選び方そのものを学ぶ
定義・仕組み
Q学習
- 行動価値関数 Q(s, a) を学習
- 次状態の最大Q値を更新目標に使う
- 価値ベース手法
方策勾配法
-
方策 **π(a s)** を直接最適化 - 期待収益が大きくなる方向へ方策パラメータを更新
- 確率的方策や連続行動も扱いやすい
代表的なREINFORCEは基本的な方策勾配法です。PPOも方策最適化を行う手法で、Actor-Critic系の考え方を組み合わせる実装が一般的です。
いつ使う？（得意・不得意）
Q学習
- 表形式では離散的で比較的小さな状態・行動空間に向く
- 大規模状態空間ではDQNなど関数近似へ拡張される
方策勾配法
- 方策を直接表現したい
- 連続行動を扱いたい
- 確率的な行動選択を学びたい
注意点として、基本的な方策勾配法は推定分散が大きくなりやすく、Actor-CriticやPPOなどでは安定化の工夫を入れます。
G検定ひっかけポイント
- ❌ PPOはQ学習の改良版
- ❌ Q学習は方策を直接更新する
- ❌ 方策勾配法では価値関数を一切使えない
最後の選択肢は誤りです。Actor-Criticでは、方策を直接更新しつつCriticの価値推定を利用します。
判断基準
- 「Q値を更新」→ Q学習
- 「方策を直接最適化」→ 方策勾配法
- 「Actor＋Critic」→ Actor-Critic
- 「clipで方策更新を制限」→ PPO
まとめ（試験直前用）
- Q学習＝行動価値Qを学ぶ
- 方策勾配法＝方策を直接学ぶ
- REINFORCEは基本的な方策勾配法
- Actor-Criticは方策＋価値
- PPOは方策更新を安定化する代表手法