---
title: "Adam（Adaptive Moment Estimation）とは？G検定対策"
description: "Adamは、勾配の移動平均によるモーメンタムと、勾配二乗の移動平均によるRMSpropの考え方を組み合わせた最適化手法です。1次モーメントが更新方向を安定させ、2次モーメントがパラメータ別の学習率を調整する役割を押さえ、AdaGradやSGDの説明との入れ替えを見抜きます。"
canonical_url: "https://stemtazoo.github.io/gk/adam/"
section: "gk"
---

## まず結論

Adam（Adaptive Moment Estimation）は、**モーメンタムとRMSpropを組み合わせた最適化手法**です。
G検定では、**「1次モーメント・2次モーメント」「AdaGrad / RMSprop との関係」**が問われます。

## 直感的な説明

Adamは、

> 「**進む方向の勢い**を覚えつつ、**場所ごとに学習率を調整する**」

最適化手法です。

* モーメンタム：進む方向を安定させる
* RMSprop：学習率を自動で調整する

👉 **この2つを同時に使う** のが Adam です。

## 定義・仕組み

Adamでは、次の2つの量を同時に管理します。

### ① 1次モーメント（平均）

* 勾配の**移動平均**
* モーメンタムに相当

### ② 2次モーメント（分散）

* 勾配の**二乗の移動平均**
* RMSprop に相当

この2つを使って、

* 更新方向を安定させる
* 学習率をパラメータごとに自動調整する

という処理を行います。

## いつ使う？（得意・不得意）

**得意な点**

* 深いニューラルネットワーク
* 勾配が不安定な問題
* 学習率調整が難しい場合

**注意点**

* 必ずしも最終精度が最良とは限らない
* 収束後は SGD が有利な場合もある

（※ G検定では深掘り不要）

## G検定ひっかけポイント

G検定では、次の混同が頻出です。

* **Adam と RMSprop の違い**
* **Adam が全く新しい理論だと思わせる**

選択肢の判断基準は次の通りです。

* モーメンタム + RMSprop → **Adam**
* 過去を忘れる（移動平均）だけ → RMSprop
* 過去をすべて累積 → AdaGrad

## まとめ（試験直前用）

* Adamは**最適化手法**
* モーメンタム + RMSprop の組み合わせ
* 1次モーメント：勢い
* 2次モーメント：学習率調整
* G検定頻出