最終更新日:2026年9月24日
gk neural_network optimization
まず結論
学習率スケジューリング(Learning Rate Scheduling)は、学習の進行に応じて学習率を変化させる方法です。
G検定では、
- Step Decay
- Exponential Decay
- Cosine Annealing
- Warmup
の違いを押さえます。
ただし、
固定学習率は必ず誤り
学習初期は必ず大きい
とは覚えません。
直感的な説明
学習率は、1回の更新でどれくらいパラメータを動かすかを決めます。
- 大きすぎる → 振動・発散することがある
- 小さすぎる → 学習が進みにくいことがある
そのため、学習の段階に応じて学習率を変えることがあります。
定義・仕組み
Step Decay
一定のタイミングごとに学習率を段階的に小さくします。
Exponential Decay
学習率を指数関数的に減衰させます。
Cosine Annealing
コサイン曲線に沿って学習率を変化させます。
通常は高い値から低い値へ滑らかに下げる形が代表的です。
「終盤だけ急激に小さくなる手法」と限定しません。
Warmup
学習開始直後は小さめの学習率から始め、一定期間かけて目標学習率まで上げます。
Transformerなど大規模モデルの学習でよく使われます。
Warmupがあるため、
学習初期は常に大きな学習率
という説明は誤りです。
いつ使う?(得意・不得意)
スケジューリングは、
- 学習初期の不安定さを抑えたい
- 後半で細かく最適化したい
- 大規模モデルを安定して学習したい
場合に使われます。
一方、固定学習率でも適切に学習できる問題はあります。
スケジューラを使えば必ず性能が上がるわけでもありません。
G検定ひっかけポイント
固定学習率
❌ 必ず不適切
⭕ 問題によっては固定でも学習できる
Warmup
❌ 最初から大きな学習率を使う
⭕ 小さく始めて徐々に上げる
Decay
❌ 学習率を上げること
⭕ 代表的には徐々に下げる
Cosine
❌ 一定エポックごとに突然1/10へ下げる
⭕ それはStep Decayの説明
まとめ(試験直前用)
- Scheduling=学習中に学習率を変える
- Step=段階的
- Exponential=指数的
- Cosine=コサイン曲線
- Warmup=小さく始めて上げる
- 固定学習率が必ず誤りではない
- 「初期は必ず大きい」と覚えない