---
title: "REINFORCEとは？（方策勾配法）G検定対策"
description: "REINFORCEを、エピソード終了後の収益を使って確率的方策を直接更新するモンテカルロ型の方策勾配法として整理します。Q学習、Actor-Critic、ベースラインとの違いと、G検定での判断基準を確認できます。"
last_modified_at: "2026-07-18"
canonical_url: "https://stemtazoo.github.io/gk/reinforce/"
section: "gk"
---

## まず結論

* **REINFORCE**とは、実際に得た収益を使って、**方策そのものを直接更新するモンテカルロ型の方策勾配法**です。
* G検定では、価値ベース手法ではなく、**確率的方策を直接最適化する手法**と判断します。

## 直感的な説明

REINFORCEは、

> うまくいった行動は次から選びやすくし、うまくいかなかった行動は選びにくくする

という学習方法です。

たとえば、ある状態で行動Aを選び、その後に高い報酬を得たなら、

* 同じ状態で行動Aを選ぶ確率を上げる

ように方策を調整します。

ただし、すぐ後の報酬だけではなく、エピソード終了までに得た**将来報酬の合計（収益）**を使います。

## 定義・仕組み

REINFORCEは、方策

`π(a|s; θ)`

のパラメータ `θ` を、期待収益が大きくなる方向へ更新します。

学習の流れは次の通りです。

1. 現在の方策に従って、エピソード終了まで行動する
2. 各時点から先の収益を計算する
3. 高い収益につながった行動の選択確率を上げる
4. 低い収益につながった行動の選択確率を下げる

重要な特徴は次の通りです。

* 方策を直接更新する
* 確率的方策を扱える
* エピソード全体の結果を使うモンテカルロ法
* 基本形では学習用の価値関数を持たない

一方、収益のばらつきが大きいため、学習が不安定になりやすいという弱点があります。

## いつ使う？（得意・不得意）

### 得意な点

* 確率的な行動選択が必要な問題
* 方策を直接表現したい場合
* 方策勾配法の基本を理解する教材

### 不得意・注意点

* エピソード終了まで待つ必要がある
* 収益の分散が大きい
* サンプル効率が低い
* 長いエピソードでは学習が不安定になりやすい

## G検定ひっかけポイント

### Q学習との違い

* Q学習：行動価値を学び、価値が最大の行動を選ぶ
* REINFORCE：方策の選択確率を直接更新する

### Actor-Criticとの違い

* REINFORCE：エピソード収益をそのまま使う
* Actor-Critic：Criticが価値を推定し、Actorの更新を助ける

Actor-Criticは、REINFORCEの高分散という弱点を緩和する方向の手法です。

### ベースラインとの関係

REINFORCEでは、収益からベースラインを引くことで、平均的な結果より良かったか悪かったかを判断できます。

* ベースラインを引いても、方策勾配の期待値は変わらない
* ただし分散を小さくでき、学習を安定させやすい

### 判断基準

* 「確率的方策を直接更新」→ REINFORCE
* 「エピソード終了後の収益を使用」→ REINFORCE
* 「Q値を学習」→ Q学習・DQN
* 「ActorとCriticを使用」→ Actor-Critic

## まとめ（試験直前用）

* REINFORCEは方策勾配法
* 方策を直接更新する
* エピソード収益を使うモンテカルロ型
* 分散が大きく学習が不安定になりやすい
* Actor-Criticは価値推定で更新を補助する