最終更新日:2026年9月23日
gk reinforcement_learning cheatsheet
まず結論
強化学習は、エージェントが環境と相互作用し、将来を含む累積報酬を高める方策を学ぶ枠組みです。
試験では、まず次の3点を確認します。
- 価値を学ぶ?
- 方策を直接学ぶ?
- 実際の行動方策と学習対象の方策は同じ?
直感的な説明
- 報酬 → その行動のあとにもらう評価信号
- 価値 → 将来まで含めてどれくらい得になりそうか
- 方策 → 状態からどの行動を選ぶか
この3つを分けると強化学習の手法を整理しやすくなります。
定義・仕組み
基本要素
- エージェント
- 環境
- 状態
- 行動
- 報酬
- 方策
報酬と価値
- 報酬:その時点で環境から返る信号
- 価値:将来の累積報酬の期待値
同じものではありません。
価値ベース
Q学習やDQNは、行動価値Qを学び、その値から行動を選びます。
方策ベース
REINFORCEやPPOは、方策そのものを直接最適化します。
Actor-Critic
Actorが方策、Criticが価値を担当します。
いつ使う?(得意・不得意)
強化学習が向くのは、
- 行動が将来の状態へ影響する
- 報酬を定義できる
- 逐次意思決定が必要
な問題です。
一方、正解ラベルが明確な通常の分類・回帰なら、まず教師あり学習を考えます。
G検定ひっかけポイント
手法まとめ
| 手法 | 主に学ぶもの | オン / オフ | 判断キーワード |
|---|---|---|---|
| Q学習 | Q値 | オフポリシー | max Q |
| SARSA | Q値 | オンポリシー | 実際の次行動 |
| DQN | Q値をNNで近似 | オフポリシー | Replay、Target Network |
| REINFORCE | 方策 | オンポリシー | Monte Carlo、方策勾配 |
| Actor-Critic | 方策+価値 | 派生次第 | Actor / Critic |
| A2C / A3C | 方策+価値 | 代表的にオン | 同期 / 非同期 |
| PPO | 方策+価値を使う実装が一般的 | オンポリシー | clip |
探索と活用
- 探索 → 未知の行動を試す
- 活用 → 現時点で良い行動を選ぶ
ε-greedyはQ学習・DQN系で代表的です。
UCBは特に多腕バンディットで代表的な探索戦略です。
DQNとPolicy Gradient
- DQN → Q値
- Policy Gradient → 方策
離散 / 連続という違いだけで決めず、直接学ぶ対象を見ます。
まとめ(試験直前用)
- 強化学習=報酬を手掛かりに方策を学ぶ
- 報酬と価値は別
- Q学習=max Q、オフポリシー
- SARSA=実際の次行動、オンポリシー
- DQN=Q学習+ニューラルネット
- Actor-Critic=方策+価値
- PPO=clipを使う方策最適化
- 迷ったら「何を直接学ぶ?」を見る