最終更新日：2026年8月21日

gk neural_network optimization

G検定トップ ＞ RMSpropとは？勾配二乗の移動平均で調整【G検定】

まず結論

RMSpropは、勾配の二乗の指数移動平均を使い、パラメータごとの実効学習率を調整する最適化手法です。

G検定では、

  • 二乗を累積し続ける → AdaGrad
  • 二乗の移動平均で古い情報を弱める → RMSprop

と切り分けます。

直感的な説明

AdaGradが過去を全部ため込む方法なら、RMSpropは最近の傾向を重視する方法です。

AdaGrad → 過去をためる
RMSprop → 古い情報を徐々に弱める

定義・仕組み

RMSpropでは、勾配二乗をそのまま累積せず、指数移動平均で管理します。

そのため、AdaGradのように分母が増え続けて更新幅が極端に小さくなる問題を緩和できます。

重要なのは、Momentumのように更新方向へ慣性を付けることが中心ではない点です。

いつ使う？（得意・不得意）

得意なこと

  • パラメータごとに実効学習率を調整したい
  • AdaGradの更新幅縮小を緩和したい
  • 最近の勾配情報を重視したい

注意点

  • 基本学習率や減衰率などの設定は必要
  • 常にAdamより良いわけではない
  • 「学習率を設定しなくてよい」手法ではない

G検定ひっかけポイント

  • ❌「過去すべての勾配二乗を累積する」
    • AdaGradです。
  • ❌「慣性を使って振動を抑える」
    • Momentumの中心的な説明です。
  • ❌「1次・2次モーメントを両方使う」
    • Adamです。

判断基準

  • 二乗の累積 → AdaGrad
  • 二乗の移動平均 → RMSprop
  • 慣性 → Momentum
  • 1次＋2次モーメント → Adam

まとめ（試験直前用）

  • RMSprop＝勾配二乗の指数移動平均
  • 古い情報の影響を弱める
  • AdaGradの学習率縮小問題を緩和
  • Momentumとは役割が違う
  • 「二乗の移動平均」ならRMSprop

© 2024-2026 stemtazoo. All rights reserved.