---
title: "強化学習"
description: "強化学習は、エージェントが環境の状態に応じて行動し、得られる報酬の累積を最大化する方策を試行錯誤で学ぶ枠組みです。正解ラベルはないものの報酬という評価信号がある点を押さえ、データ構造を発見する教師なし学習との違い、Q学習・SARSA・方策勾配法の位置付けを整理します。"
last_modified_at: "2026-06-27"
canonical_url: "https://stemtazoo.github.io/gk/reinforcement-learning/"
section: "gk"
---

## まず結論
強化学習とは、**環境との試行錯誤を通じて、報酬を最大化する行動を学習する方法**です。

---

## 直感的な説明
「正解を教えてもらえないけど、  
うまくいったらご褒美、失敗したらペナルティがもらえる」

そんな環境で、  
👉 **どう動けば得をするかを自分で学ぶ**  
のが強化学習です。

ゲームをプレイして上達するイメージが近いです。

---

## 代表的な手法・キーワード
### 基本要素
- **エージェント**
- **環境**
- **行動**
- **報酬**
- **状態**

### 代表的手法
- **Q学習**
- SARSA
- 方策勾配法
- Deep Q-Network（DQN）

## 定義・仕組み

強化学習では、エージェントが環境を観測し、状態に応じて行動を選びます。行動によって環境の状態が変化し、報酬が返されます。この繰り返しから、将来まで含めた報酬の合計である**累積報酬**を大きくする方策を学びます。

| 要素 | 役割 |
| --- | --- |
| エージェント | 学習して行動する主体 |
| 環境 | 行動を受けて状態を変化させる対象 |
| 状態 | エージェントが判断に使う状況 |
| 行動 | エージェントが選択する操作 |
| 報酬 | 行動を評価する信号 |
| 方策 | 状態から行動を選ぶルール |

目先の報酬だけを選ぶと、将来の大きな報酬を逃すことがあります。このため強化学習では、即時報酬ではなく累積報酬を考えます。また、既知の良い行動を選ぶ**活用**と、未知の行動を試す**探索**の両立が必要です。

### 代表手法の位置付け

- Q学習・DQN：行動価値を学び、価値が高い行動を選ぶ
- SARSA：実際に選んだ次の行動を使って価値を更新する
- 方策勾配法：行動を選ぶ方策そのものを直接学習する

---

## 教師あり・教師なし学習との違い

| 項目 | 教師あり学習 | 教師なし学習 | 強化学習 |
| --- | --- | --- | --- |
| 正解ラベル | ある | ない | **ない** |
| フィードバック | 正解 | なし | **報酬** |
| 目的 | 予測・分類 | 構造の発見 | **行動の最適化** |

---

## G検定ひっかけポイント
- 強化学習には **正解ラベルはない**
- 教師なし学習とも違う  
  → **報酬がある**
- Q学習は **強化学習**

---

## よくある勘違い
- ❌ 強化学習＝教師なし学習  
  → ⭕ 別物（報酬の有無が決定的）
- ❌ 毎回すぐ正解が分かる  
  → ⭕ 遅れて報酬が返ってくることも多い
- ❌ その時点の報酬だけを最大化する
  → ⭕ 将来を含む累積報酬を最大化する
- ❌ 常に最高評価の行動だけを選ぶ
  → ⭕ 学習には探索と活用のバランスが必要

---

## まとめ（試験直前用）
- 強化学習＝**報酬を最大化**
- 正解ラベルはないが **評価はある**
- エージェント・環境・報酬はセットで覚える