Skip to the content.

最終更新日:2026年9月23日

まず結論

強化学習は、エージェントが環境と相互作用し、将来を含む累積報酬を高める方策を学ぶ枠組みです。

試験では、まず次の3点を確認します。

  1. 価値を学ぶ?
  2. 方策を直接学ぶ?
  3. 実際の行動方策と学習対象の方策は同じ?

直感的な説明

  • 報酬 → その行動のあとにもらう評価信号
  • 価値 → 将来まで含めてどれくらい得になりそうか
  • 方策 → 状態からどの行動を選ぶか

この3つを分けると強化学習の手法を整理しやすくなります。

定義・仕組み

基本要素

  • エージェント
  • 環境
  • 状態
  • 行動
  • 報酬
  • 方策

報酬と価値

  • 報酬:その時点で環境から返る信号
  • 価値:将来の累積報酬の期待値

同じものではありません。

価値ベース

Q学習やDQNは、行動価値Qを学び、その値から行動を選びます。

方策ベース

REINFORCEやPPOは、方策そのものを直接最適化します。

Actor-Critic

Actorが方策、Criticが価値を担当します。

いつ使う?(得意・不得意)

強化学習が向くのは、

  • 行動が将来の状態へ影響する
  • 報酬を定義できる
  • 逐次意思決定が必要

な問題です。

一方、正解ラベルが明確な通常の分類・回帰なら、まず教師あり学習を考えます。

G検定ひっかけポイント

手法まとめ

手法 主に学ぶもの オン / オフ 判断キーワード
Q学習 Q値 オフポリシー max Q
SARSA Q値 オンポリシー 実際の次行動
DQN Q値をNNで近似 オフポリシー Replay、Target Network
REINFORCE 方策 オンポリシー Monte Carlo、方策勾配
Actor-Critic 方策+価値 派生次第 Actor / Critic
A2C / A3C 方策+価値 代表的にオン 同期 / 非同期
PPO 方策+価値を使う実装が一般的 オンポリシー clip

探索と活用

  • 探索 → 未知の行動を試す
  • 活用 → 現時点で良い行動を選ぶ

ε-greedyはQ学習・DQN系で代表的です。

UCBは特に多腕バンディットで代表的な探索戦略です。

DQNとPolicy Gradient

  • DQN → Q値
  • Policy Gradient → 方策

離散 / 連続という違いだけで決めず、直接学ぶ対象を見ます。

まとめ(試験直前用)

  • 強化学習=報酬を手掛かりに方策を学ぶ
  • 報酬と価値は別
  • Q学習=max Q、オフポリシー
  • SARSA=実際の次行動、オンポリシー
  • DQN=Q学習+ニューラルネット
  • Actor-Critic=方策+価値
  • PPO=clipを使う方策最適化
  • 迷ったら「何を直接学ぶ?」を見る

© 2024-2026 stemtazoo. All rights reserved.