最終更新日：2026年8月22日
gk reinforcement_learning cheatsheet
G検定トップ
＞ 強化学習チートシート（完全版）【G検定対策まとめ】
まず結論
- 強化学習は「将来を含む累積報酬が大きくなるような行動方針を学ぶ枠組み」です。
- G検定では「報酬と価値の違い」「価値を学ぶか、方策を直接学ぶか」「探索と活用」を切り分けられることが重要です。
直感的な説明
強化学習は、
正解ラベルを直接教えてもらうのではなく、行動の結果として得られる報酬を手がかりに学ぶ方法です。
- 状態を見る
- 行動する
- 環境が変化し、報酬を受け取る
- 将来も含めて得になる行動を学ぶ
👉 教師あり学習の「正解ラベル」と、強化学習の「報酬」を混同しないことが重要です。
定義・仕組み
基本構成（必須）
- エージェント：行動する主体
- 環境：エージェントの外界
- 状態（State）
- 行動（Action）
- 報酬（Reward）
- 方策（Policy）：状態から行動を選ぶルール
- 価値（Value）：将来の累積報酬の期待値
学習対象の違い
- 価値ベース：状態や行動の価値を学び、価値をもとに行動を選ぶ
- 方策ベース：方策を直接最適化する
- Actor-Critic：方策を学ぶActorと、価値を推定するCriticを組み合わせる
いつ使う？（得意・不得意）
向いている問題
- 試行錯誤が可能
- 報酬を定義できる
- 行動が将来の状態や報酬に影響する逐次意思決定
注意が必要な問題
- 正解ラベルが直接与えられる通常の分類・回帰
- 実環境での試行錯誤が危険・高コスト
- 報酬設計が難しい問題
G検定ひっかけポイント
① 報酬 vs 価値
- 報酬：行動後に環境から得る信号
- 価値：その状態や行動から将来得られる累積報酬の期待値
「報酬＝価値」ではありません。
② 価値ベース vs 方策ベース
- Q値を学ぶ → Q学習 / DQN
- 方策を直接更新 → REINFORCE / PPOなど
- 方策＋価値 → Actor-Critic
③ 探索と活用
- まだ十分試していない行動を試す → 探索
- 現時点で良いと分かっている行動を選ぶ → 活用
ε-greedyやUCBは、このバランスを考える代表例です。
手法まとめ
| 手法 | 主に学ぶもの | 判断キーワード |
|---|---|---|
| Q学習 | 行動価値Q | オフポリシー、max Q |
| SARSA | 行動価値Q | オンポリシー、実際に選んだ次行動 |
| REINFORCE | 方策 | モンテカルロ型、方策を直接更新 |
| Actor-Critic | 方策＋価値 | ActorとCritic |
| PPO | 方策 | 更新幅を制限、clip |
まとめ（試験直前用）
- 強化学習＝報酬を手がかりに逐次的な行動方針を学ぶ
- 報酬と価値は別物
- Q値 → 価値ベース
- 方策を直接更新 → 方策ベース
- Actor-Critic → 方策＋価値
- 探索と活用も重要な判断軸
迷ったら「何を直接学んでいるか」を見るのが基本です。