最終更新日：2026年8月21日
gk 機械学習 頻出
まず結論
強化学習とは、エージェントが環境の中で行動し、その結果として受け取る報酬を手掛かりに、累積報酬を高める方策を学ぶ方法です。
G検定では、次の言葉が出たら強化学習を強く疑います。
状態
行動
報酬
環境
方策
行動の結果として報酬を受け取る → 強化学習
直感的な説明
ゲームをプレイして上達するイメージです。
状態を見る
↓
行動する
↓
報酬を受け取る
↓
次にどう動くかを改善する
教師あり学習のように毎回「この行動が正解」と教えてもらうのではありません。行動した結果として得られる報酬を見ながら、長期的に得点が高くなる行動の選び方を学びます。
定義・仕組み
強化学習では、エージェントが環境の状態を観測し、方策に基づいて行動を選びます。行動によって環境が変化し、報酬が返されます。この繰り返しから、将来まで含めた報酬の合計である累積報酬を大きくする方策を学びます。
| 要素 | 役割 |
|---|---|
| エージェント | 学習して行動する主体 |
| 環境 | 行動を受けて状態を変化させる対象 |
| 状態 | 行動を決めるときの状況 |
| 行動 | エージェントが選ぶ操作 |
| 報酬 | 行動の結果を評価する信号 |
| 方策 | 状態から行動を選ぶルール |
累積報酬
目先の報酬だけが大きい行動を選ぶと、将来のさらに大きな報酬を逃すことがあります。そのため強化学習では、その場の報酬ではなく将来を含む累積報酬を重視します。
探索と活用
- 活用：これまでに良いと分かっている行動を選ぶ
- 探索：まだ十分に試していない行動を試す
学習には、この2つのバランスが必要です。
代表的な手法
- Q学習：行動価値を学ぶ
- SARSA：実際に選んだ次の行動を使って価値を更新する
- DQN：Q値の近似にニューラルネットワークを使う
- 方策勾配法：方策そのものを直接学習する
いつ使う？（得意・不得意）
得意なこと
- ゲームやロボットなどの制御
- 連続した意思決定
- 一手先だけではなく、将来の結果を考える問題
- 明確な正解ラベルを毎回用意しにくい状況
苦手・注意点
- 試行錯誤に多くの経験が必要になりやすい
- 実環境で危険な探索を行えない場合がある
- 報酬の設計が不適切だと、意図しない行動を学ぶことがある
教師あり学習・教師なし学習・強化学習の全体比較は、3つの学習方法の違いで確認できます。
G検定ひっかけポイント
強化学習＝教師なし学習、ではない
どちらも正解ラベルを直接使わないことがありますが、強化学習には報酬という評価信号があります。
データの構造を探す
→ 教師なし学習
行動して報酬を得る
→ 強化学習
即時報酬だけを最大化するわけではない
強化学習の目的は、その瞬間の報酬だけを大きくすることではありません。将来を含む累積報酬を高めることが基本です。
常に一番良さそうな行動だけを選ぶわけではない
学習中は未知の行動を試す探索も必要です。活用だけでは、より良い行動を見つけられないことがあります。
DQNは「深層学習そのもの」ではなく強化学習の手法
DQNではニューラルネットワークを利用しますが、目的は行動価値を学んで行動を選ぶことです。G検定では「DQN → 深層強化学習」と位置付けます。
正誤を切る判断基準
- 状態・行動・報酬・方策 → 強化学習
- 正解ラベルから予測 → 教師あり学習
- ラベルなしデータの構造発見 → 教師なし学習
まとめ（試験直前用）
- 強化学習＝行動の結果として報酬を受け取る
- 目的は 累積報酬を高める方策 を学ぶこと
- 状態・行動・報酬・環境・方策をセットで覚える
- 探索と活用のバランスが重要
- Q学習・SARSA・DQN・方策勾配法は代表的な手法