最終更新日：2026年6月22日
gk neural_network
G検定トップ
＞ RMSpropとは？G検定対策
まず結論
RMSprop（Root Mean Square Propagation）は、勾配の二乗の指数移動平均を使って、パラメータごとの学習率を調整する最適化手法です。 G検定では、AdaGradの「過去をすべて蓄積して学習率が小さくなりすぎる」弱点を、古い勾配を徐々に忘れることで緩和すると判断します。
直感的な説明
RMSpropは、
「最近の動きを重視して、古い情報は忘れる」
という考え方の最適化手法です。
- AdaGrad：過去すべてを記憶 → 学習率が極端に小さくなる
- RMSprop：過去を少しずつ忘れる → 学習が止まりにくい
この違いが、RMSprop最大のポイントです。
ここで見ているのは「評価指標」ではなく、損失関数を小さくするために重みをどう更新するかです。AccuracyやF1-scoreのようにモデルの良し悪しを測る指標とは役割が違います。
定義・仕組み
RMSpropは、AdaGradを改良した最適化手法です。
ポイントは次の1点です。
- 勾配の二乗和を指数移動平均で管理する
イメージ式は次の通りです。
G_t = \alpha G_{t-1} + (1-\alpha) g_t^2
g_t：時刻tの勾配G_t：勾配二乗の移動平均\alpha：減衰率（0.9など）
👉 古い勾配の影響は徐々に小さくなる のが特徴です。
いつ使う？（得意・不得意）
得意な点
- 非定常な問題（勾配が変化しやすい）
- AdaGradで学習が止まってしまう場合
注意点
- ハイパーパラメータ（減衰率）の設定が必要
- 学習率自体は別途設定する
G検定ひっかけポイント
G検定では、次の混同が頻出です。
- AdaGradとの違い
- Adamとの違い
選択肢の判断基準は次の通りです。
| 表現 | 判断する手法 |
|---|---|
| 学習率を固定して更新 | SGD |
| 過去すべての勾配二乗和を蓄積 | AdaGrad |
| 過去を忘れる、指数移動平均 | RMSprop |
| モーメント（一次モーメント）も使う | Adam |
また、活性化関数はニューロンの出力を非線形にする関数であり、RMSpropのような最適化手法とは役割が違います。
まとめ（試験直前用）
- RMSpropは最適化手法
- AdaGradの改良版
- 勾配の二乗を指数移動平均で管理
- 過去を忘れるのが特徴
- 学習が止まりにくい