最終更新日：2026年8月26日
gk reinforcement_learning
G検定トップ
＞ オンポリシーとオフポリシーの違い【G検定対策】
まず結論
オンポリシーは、基本的に行動に使う方策と学習対象の方策が同じ方式です。
オフポリシーは、行動に使った方策と異なる方策について学習できる方式です。
G検定では、「過去データを使うか」だけではなく、behavior policy と target policy の関係で判断します。
直感的な説明
オンポリシーは、
今実際に使っているやり方を、その経験から改善する
イメージです。
オフポリシーは、
別のやり方で集めた経験も使いながら、目標とする方策を学ぶ
イメージです。
Experience Replayはオフポリシー手法と相性がよい代表例ですが、Replayそのものが定義ではありません。
定義・仕組み
オンポリシー
- 行動を生成する方策と学習対象の方策が基本的に同じ
- 代表例：SARSA、REINFORCE、A2C/A3C、PPO
- 現在の方策に沿った経験を使って更新する
オフポリシー
- 行動を生成した方策と異なる目標方策について学習できる
- 代表例：Q学習、DQN、Double DQN、APE-X
- 過去に集めた経験や別の探索方策の経験を再利用しやすい
SARSAとQ学習で切る
- SARSA → 実際に次に選んだ行動を使う → オンポリシー
- Q学習 → 次状態で最大のQ値を使って目標を作る → オフポリシー
この2つの対比は試験で非常に使いやすい判断軸です。
いつ使う？（得意・不得意）
オンポリシー／オフポリシーは、単純に「どちらが安定」「どちらが優秀」と決まる分類ではありません。
- オンポリシー：現在の方策に沿った更新を行う
- オフポリシー：別方策の経験を再利用できる
と役割を押さえるのが安全です。
G検定ひっかけポイント
よくある誤解
- ❌ オンポリシーは過去データを一切使えない
- ❌ オフポリシー＝Experience Replayそのもの
- ❌ 方策勾配法はすべてオンポリシー
選択肢を切る判断基準
- 「behavior policy と target policy が同じ」→ オンポリシー
- 「別の方策で集めた経験から学習できる」→ オフポリシー
- SARSA → オンポリシー
- Q学習 / DQN → オフポリシー
まとめ（試験直前用）
- オンポリシー＝行動方策と学習対象の方策が基本的に同じ
- オフポリシー＝異なる方策の経験からも学習できる
- SARSA＝オンポリシー
- Q学習・DQN＝オフポリシー
- Replayは手がかりだが定義そのものではない