Skip to the content.

最終更新日:2026年9月24日

まず結論

学習率スケジューリング(Learning Rate Scheduling)は、学習の進行に応じて学習率を変化させる方法です。

G検定では、

  • Step Decay
  • Exponential Decay
  • Cosine Annealing
  • Warmup

の違いを押さえます。

ただし、

固定学習率は必ず誤り
学習初期は必ず大きい

とは覚えません。

直感的な説明

学習率は、1回の更新でどれくらいパラメータを動かすかを決めます。

  • 大きすぎる → 振動・発散することがある
  • 小さすぎる → 学習が進みにくいことがある

そのため、学習の段階に応じて学習率を変えることがあります。

定義・仕組み

Step Decay

一定のタイミングごとに学習率を段階的に小さくします。

Exponential Decay

学習率を指数関数的に減衰させます。

Cosine Annealing

コサイン曲線に沿って学習率を変化させます。

通常は高い値から低い値へ滑らかに下げる形が代表的です。

「終盤だけ急激に小さくなる手法」と限定しません。

Warmup

学習開始直後は小さめの学習率から始め、一定期間かけて目標学習率まで上げます。

Transformerなど大規模モデルの学習でよく使われます。

Warmupがあるため、

学習初期は常に大きな学習率

という説明は誤りです。

いつ使う?(得意・不得意)

スケジューリングは、

  • 学習初期の不安定さを抑えたい
  • 後半で細かく最適化したい
  • 大規模モデルを安定して学習したい

場合に使われます。

一方、固定学習率でも適切に学習できる問題はあります。

スケジューラを使えば必ず性能が上がるわけでもありません。

G検定ひっかけポイント

固定学習率

❌ 必ず不適切
⭕ 問題によっては固定でも学習できる

Warmup

❌ 最初から大きな学習率を使う
⭕ 小さく始めて徐々に上げる

Decay

❌ 学習率を上げること
⭕ 代表的には徐々に下げる

Cosine

❌ 一定エポックごとに突然1/10へ下げる
⭕ それはStep Decayの説明

まとめ(試験直前用)

  • Scheduling=学習中に学習率を変える
  • Step=段階的
  • Exponential=指数的
  • Cosine=コサイン曲線
  • Warmup=小さく始めて上げる
  • 固定学習率が必ず誤りではない
  • 「初期は必ず大きい」と覚えない

© 2024-2026 stemtazoo. All rights reserved.