最終更新日:2026年8月26日
gk cheatsheet neural_network optimization
まず結論
最適化手法は、名前ではなく問題文に出る仕組みのキーワードで切ります。
先に最適化手法まとめを確認してから、次の10問で判断できるか試してください。
直感的な説明
試験では「どれが最強か」ではなく、
- 慣性を使うのか
- 勾配二乗をためるのか
- 移動平均を使うのか
- 1次・2次モーメントを使うのか
- 学習率へ境界を設けるのか
を見ます。
定義・仕組み
問題1
過去の更新方向を利用して慣性を持たせる手法はどれか。
A. AdaGrad
B. Momentum
C. RMSprop
D. AdaBound
問題2
過去の勾配二乗を累積し続ける手法はどれか。
A. AdaGrad
B. RMSprop
C. Adam
D. Momentum
問題3
勾配二乗の指数移動平均を使い、古い情報の影響を弱める手法はどれか。
A. SGD
B. AdaGrad
C. RMSprop
D. Momentum
問題4
勾配だけでなく、更新量の移動平均も使って更新幅を調整する手法はどれか。
A. AdaDelta
B. Momentum
C. AdaGrad
D. SGD
問題5
勾配の1次モーメント推定と2次モーメント推定を使う手法はどれか。
A. RMSprop
B. Adam
C. AdaGrad
D. SGD
問題6
Adam系の実効学習率に、時間とともに変化する上限・下限を設ける手法はどれか。
A. AdaDelta
B. AdaBound
C. RMSprop
D. Momentum
問題7
AMSGradを基盤に、動的な学習率境界を加える手法はどれか。
A. Adam
B. AdaBound
C. AMSBound
D. AdaGrad
問題8
「Adamを使えば学習率を設定する必要がない」という説明は正しいか。
A. 正しい
B. 誤り
正解と解説を見る(タップして開く)
正解:B
Adamでも基本学習率などのハイパーパラメータを設定します。
問題9
「最適化手法をAdamに変えれば過学習を必ず防げる」という説明は正しいか。
A. 正しい
B. 誤り
正解と解説を見る(タップして開く)
正解:B
最適化と汎化・過学習対策は関連しますが、Adamへ変えるだけで過学習が必ず防げるわけではありません。
問題10
弱学習器を逐次的に組み合わせる手法はどれか。
A. AdaGrad
B. AdaBound
C. AdaBoost
D. Adam
正解と解説を見る(タップして開く)
正解:C
AdaBoostは最適化手法ではなく、ブースティングによるアンサンブル学習です。
いつ使う?(得意・不得意)
このページは個別手法の詳細説明ではなく、選択肢を切る練習用です。
仕組みを確認したい場合は最適化手法まとめや各個別記事へ戻ります。
G検定ひっかけポイント
最終的には次の対応を即答できれば十分です。
| キーワード | 手法 |
|---|---|
| 慣性 | Momentum |
| 二乗を累積 | AdaGrad |
| 二乗の移動平均 | RMSprop |
| 更新量の移動平均 | AdaDelta |
| 1次+2次モーメント | Adam |
| Adam+動的境界 | AdaBound |
| AMSGrad+動的境界 | AMSBound |
「Adam=学習率不要」「Adam=過学習防止」のような極端な説明は切ります。
まとめ(試験直前用)
- 慣性=Momentum
- 累積=AdaGrad、移動平均=RMSprop
- 更新量も見る=AdaDelta
- 1次+2次=Adam
- 動的な上下限=Bound系
- AdaBoostは最適化ではない