最終更新日：2026年8月21日
gk neural_network optimization
G検定トップ
＞ AMSBoundとは？AMSGradからSGDへ近づく最適化手法【G検定】
まず結論
AMSBoundは、AMSGradを基盤に、パラメータごとの実効学習率へ動的な上限と下限を設ける最適化手法です。
G検定では、
- Adam基盤＋動的境界 → AdaBound
- AMSGrad基盤＋動的境界 → AMSBound
と切り分けます。
直感的な説明
学習初期は適応的に歩幅を変え、学習が進むほど許容する歩幅の範囲を狭め、後半はSGDに近い更新へ移るイメージです。
定義・仕組み
AMSGradは、Adamの2次モーメント推定に関する収束上の問題へ対処するため、過去の2次モーメント推定の最大値を利用します。
AMSBoundは、そのAMSGrad系の実効学習率に時間とともに狭まる上限・下限を追加します。
AMSGrad
＋
動的な学習率境界
↓
AMSBound
途中でSGDへ突然切り替えるのではなく、境界を変化させることでSGDに近い更新へ移します。
いつ使う？（得意・不得意）
狙い
- AMSGrad系の適応的更新を使う
- 極端な実効学習率を抑える
- 学習後半にSGDに近い更新を目指す
注意点
- 常にAdam・AMSGrad・SGDより優れるわけではない
- 正則化手法ではない
- 追加の設定が必要になる
G検定ひっかけポイント
| 手法 | 基盤 | 追加する特徴 |
|---|---|---|
| AdaBound | Adam | 動的な学習率境界 |
| AMSBound | AMSGrad | 動的な学習率境界 |
- 「Bound」→ 学習率の動的な境界
- 「AMSGrad基盤」→ AMSBound
- 「Adam基盤」→ AdaBound
まとめ（試験直前用）
- AMSBound＝AMSGrad＋動的な学習率境界
- 学習後半はSGDに近い更新を狙う
- AdaBoundはAdam基盤
- AMSBoundはAMSGrad基盤
- AMSGrad＋BoundならAMSBound