Skip to the content.

最終更新日:2026年9月23日

まず結論

DQNとPolicy Gradientの最大の違いは、何を直接学ぶかです。

  • DQN:行動価値 Q(s,a) を学ぶ
  • Policy Gradient:方策 π(a s) を直接最適化する

G検定では、まず

Q値? → DQN系
方策? → Policy Gradient系

で切ります。

直感的な説明

DQN

「この状態で、この行動をしたらどれくらい得か?」という点数表(Q値)を学び、その値から行動を選びます。

Policy Gradient

「この状態では、この行動をどれくらい選びやすくするか」という行動方針そのものを学びます。

定義・仕組み

DQN

DQNはQ学習を深層学習へ拡張し、Q値をニューラルネットワークで近似します。

代表的な要素は、

  • Experience Replay
  • Target Network

です。

基本的なDQNは、各行動に対応するQ値を出力して最大値を選ぶため、離散行動空間で使われる代表手法です。

Policy Gradient

Policy Gradientは、期待収益が大きくなる方向へ方策パラメータを直接更新します。

代表例には、

  • REINFORCE
  • PPO

などがあります。

Actor-Criticでは、方策を直接更新しながらCriticの価値推定も利用します。

いつ使う?(得意・不得意)

行動空間については、次のように整理します。

  • 基本DQN → 離散行動に自然に対応
  • Policy Gradient → 連続行動を表現しやすい場合がある

ただし、

離散行動なら必ずDQN
連続行動なら必ずPolicy Gradient

という絶対ルールではありません。

方策勾配法は離散行動にも使えます。モデル選択は、行動空間だけでなく学習方式や問題設定によって変わります。

G検定ひっかけポイント

DQN=方策を直接学ぶ?

❌ 方策 π を直接最適化する
⭕ Q値を学び、Q値から行動を選ぶ

Policy Gradient=価値関数を使わない?

❌ 価値推定は一切使えない
⭕ Actor-CriticではCriticの価値推定を利用できる

離散 / 連続

❌ 離散=DQN、連続=Policy Gradientと完全固定
⭕ 代表的な得意領域ではあるが、分類の本質は「Q値か方策か」

Experience Replay

DQNで代表的ですが、強化学習全体に必須の仕組みではありません。

まとめ(試験直前用)

  • DQN=Q値を学ぶ価値ベース
  • Policy Gradient=方策を直接学ぶ
  • DQN=Experience Replay+Target Networkが代表的
  • Policy Gradient=REINFORCE・PPOなど
  • Actor-Critic=方策+価値
  • 離散 / 連続より「何を直接学ぶか」を優先して判断

© 2024-2026 stemtazoo. All rights reserved.