最終更新日：2026年8月21日

gk neural_network optimization

G検定トップ ＞ AdaGradとは？勾配二乗を累積する最適化手法【G検定】

まず結論

AdaGradは、各パラメータについて過去の勾配の二乗を累積し、実効的な学習率を調整する最適化手法です。

G検定では、「勾配二乗を累積」が最重要キーワードです。

直感的な説明

何度も大きく更新された方向では歩幅を小さくし、あまり更新されていない方向では比較的大きな歩幅を残します。

更新が多い方向 → 歩幅を小さく
更新が少ない方向 → 比較的大きな歩幅

定義・仕組み

AdaGradは、過去の勾配二乗を足し続けます。

過去の勾配二乗
→ 累積し続ける
→ 分母が大きくなりやすい
→ 実効学習率が小さくなりやすい

この性質により、疎な特徴量を扱う問題で有効なことがあります。

一方で、累積値を忘れないため、学習後半に更新幅が小さくなりすぎることがあります。

いつ使う？（得意・不得意）

得意なこと

  • 特徴量の出現頻度に大きな差がある
  • 疎な特徴量を扱う
  • パラメータごとに実効学習率を変えたい

注意点

  • 学習率が小さくなり続けることがある
  • 基本学習率そのものが不要になるわけではない
  • 常にRMSpropやAdamより適するとは限らない

G検定ひっかけポイント

  • ❌「古い勾配を徐々に忘れる」
    • それはRMSprop系です。
  • ❌「Momentumのように慣性を使う」
    • AdaGradの中心は勾配二乗の累積です。
  • ❌「AdaBoostと同じ種類」
    • AdaBoostはアンサンブル学習です。

判断基準

  • 二乗を累積 → AdaGrad
  • 二乗の移動平均 → RMSprop
  • 慣性 → Momentum
  • 1次＋2次モーメント → Adam

まとめ（試験直前用）

  • AdaGrad＝勾配二乗を累積
  • パラメータごとに実効学習率を調整
  • 疎な特徴量に向くことがある
  • 学習率が小さくなりすぎる弱点がある
  • 「累積」ならAdaGrad

© 2024-2026 stemtazoo. All rights reserved.