---
title: "RMSpropとは？G検定対策"
description: "RMSpropを、AdaGradの学習率が小さくなりすぎる問題を指数移動平均で緩和する最適化手法として整理します。SGD、AdaGrad、Adamとの違いと、G検定での選択肢判断ポイントを確認できます。"
last_modified_at: "2026-06-22"
canonical_url: "https://stemtazoo.github.io/gk/rmsprop/"
section: "gk"
---

## まず結論

RMSprop（Root Mean Square Propagation）は、**勾配の二乗の指数移動平均を使って、パラメータごとの学習率を調整する最適化手法**です。
G検定では、**AdaGradの「過去をすべて蓄積して学習率が小さくなりすぎる」弱点を、古い勾配を徐々に忘れることで緩和する**と判断します。

## 直感的な説明

RMSpropは、

> 「最近の動きを重視して、古い情報は忘れる」

という考え方の最適化手法です。

* AdaGrad：過去すべてを記憶 → 学習率が極端に小さくなる
* RMSprop：**過去を少しずつ忘れる** → 学習が止まりにくい

この違いが、RMSprop最大のポイントです。

ここで見ているのは「評価指標」ではなく、**損失関数を小さくするために重みをどう更新するか**です。AccuracyやF1-scoreのようにモデルの良し悪しを測る指標とは役割が違います。

## 定義・仕組み

RMSpropは、AdaGradを改良した最適化手法です。

ポイントは次の1点です。

* **勾配の二乗和を指数移動平均で管理する**

イメージ式は次の通りです。

```
G_t = \alpha G_{t-1} + (1-\alpha) g_t^2
```

* `g_t`：時刻tの勾配
* `G_t`：勾配二乗の移動平均
* `\alpha`：減衰率（0.9など）

👉 **古い勾配の影響は徐々に小さくなる** のが特徴です。

## いつ使う？（得意・不得意）

**得意な点**

* 非定常な問題（勾配が変化しやすい）
* AdaGradで学習が止まってしまう場合

**注意点**

* ハイパーパラメータ（減衰率）の設定が必要
* 学習率自体は別途設定する

## G検定ひっかけポイント

G検定では、次の混同が頻出です。

* **AdaGradとの違い**
* **Adamとの違い**

選択肢の判断基準は次の通りです。

| 表現 | 判断する手法 |
| --- | --- |
| 学習率を固定して更新 | SGD |
| 過去すべての勾配二乗和を蓄積 | AdaGrad |
| 過去を忘れる、指数移動平均 | **RMSprop** |
| モーメント（一次モーメント）も使う | Adam |

また、**活性化関数**はニューロンの出力を非線形にする関数であり、RMSpropのような**最適化手法**とは役割が違います。

## まとめ（試験直前用）

* RMSpropは**最適化手法**
* AdaGradの改良版
* 勾配の二乗を**指数移動平均**で管理
* 過去を忘れるのが特徴
* 学習が止まりにくい