最終更新日：2026年8月21日
gk neural_network optimization
G検定トップ
＞ Adamとは？1次・2次モーメントで更新【G検定】
まず結論
Adam（Adaptive Moment Estimation）は、勾配の1次モーメント推定と2次モーメント推定を使って、更新方向と更新幅を調整する最適化手法です。
G検定では、
- 1次モーメント → Momentum系の考え方
- 2次モーメント → RMSprop系の考え方
- 両方使う → Adam
と切り分けます。
直感的な説明
Adamは、
- どちらへ進む流れが続いているか
- その方向の勾配がどれくらい大きいか
の両方を見ながら更新するイメージです。
定義・仕組み
Adamでは主に次の2つを移動平均として推定します。
- 1次モーメント：勾配の平均的な方向
- 2次モーメント：勾配二乗の平均的な大きさ
2次モーメントを単純に「分散」と覚えるのは不正確です。G検定では、勾配二乗の移動平均と押さえる方が安全です。
Adamは、MomentumとRMSpropの考え方を組み合わせたものとして理解すると切り分けやすくなります。
いつ使う？（得意・不得意）
得意なこと
- パラメータごとに更新幅を調整したい
- Momentum系の慣性と適応的学習率を併用したい
- 深いニューラルネットワークを学習したい
注意点
- 基本学習率などの設定は必要
- 常にSGDより高精度になるわけではない
- Adamだから過学習を防げる、という意味ではない
G検定ひっかけポイント
- ❌「Adamは学習率の設定が不要」
- 基本学習率は設定します。
- ❌「2次モーメント＝分散そのもの」
- 勾配二乗のモーメント推定です。
- ❌「Adamは常に最良」
- 問題や設定によって結果は変わります。
- ⭕「1次＋2次モーメント」→ Adam
まとめ（試験直前用）
- Adam＝1次・2次モーメントを利用
- 1次はMomentum系、2次はRMSprop系
- パラメータごとに更新幅を調整
- 基本学習率は必要
- 常に最良とは限らない