Skip to the content.

最終更新日:2026年9月20日

まず結論

勾配降下法(Gradient Descent)は、損失が小さくなるように、勾配とは逆方向へパラメータを少しずつ更新する最適化の基本的な考え方です。

G検定では、

Backprop → 勾配を計算
勾配降下法 → 勾配を使って更新

と役割を分けると迷いにくくなります。

直感的な説明

山の高さを損失だと考えます。

現在地で傾きを調べ、高くなる方向とは逆へ少し移動することを繰り返して、より低い場所を目指すイメージです。

この「一度にどれだけ進むか」を決めるのが学習率です。

定義・仕組み

ニューラルネットワークでは、損失関数に対する各パラメータの勾配を求めます。

その勾配を使って、損失が減る方向へ重みやバイアスを更新します。

学習率

  • 大きすぎる → 最小値を飛び越え、振動・発散することがある
  • 小さすぎる → 更新が小さく、収束が遅くなる

操作して確認:学習率で進み方はどう変わる?

見るポイント:同じ場所から始めても、学習率によって最小点への近づき方が変わります。 学習率を選び、「1回更新」を数回押してください。学習率を切り替えると、同じ開始位置に戻ります。

この教材では、パラメータを1個の値 w、損失を L = w² / 2 とした単純な例を使います。勾配はwなので、更新は 次のw = 現在のw − 学習率 × 現在のw です。開始位置はw = 3、最小点はw = 0です。

学習率を変えて、1回ずつ更新

−606損失 Lw18

実線:損失の曲線 / ●:現在地 / 破線:更新の経路。図の目盛りは固定です。

更新0回 / w = 3.000 / 損失 L = 4.500

学習率0.5、w = 3から開始します。

学習率 開始時 → 1回目 → 2回目のw この例での動き
0.1 3 → 2.7 → 2.43 最小点に近づくが、進み方が遅い
0.5 3 → 1.5 → 0.75 0.1より速く最小点に近づく
2.2 3 → −3.6 → 4.32 最小点を飛び越え、左右に振れながら遠ざかる

勾配と逆向きに進んでも、歩幅が大きすぎると更新後の損失は増えます。 「学習率は大きいほどよい」という選択肢を切る判断軸です。図の範囲外に出た場合、最小点に十分近づいた場合、または20回更新した場合に教材を停止します。

0.5が常に適切という意味ではありません。適切な学習率は損失曲面などによって変わり、実際の学習ではこの単純な曲線のように進むとは限りません。

データをどれだけ使って勾配を求めるか

  • 全データ → バッチ勾配降下法
  • 1サンプルずつ → 確率的勾配降下法(SGD)
  • 一部のまとまり → ミニバッチ学習

いつ使う?(得意・不得意)

勾配を利用できるモデルの学習で広く使われます。

ただし、勾配降下法は未知データでの性能を直接保証する仕組みではありません。訓練損失を下げても過学習が起こることはあります。

また、実際の深層学習ではSGD、Momentum、Adamなど、勾配降下の考え方を発展させた更新方法が使われます。

G検定ひっかけポイント

勾配降下法と誤差逆伝播法は同じ

誤りです。

  • 誤差逆伝播法 → 勾配を効率よく計算
  • 勾配降下法 → 求めた勾配を使って更新

学習率は大きいほど速くてよい

誤りです。大きすぎると最適な領域を飛び越え、学習が不安定になることがあります。

勾配降下法は過学習を防ぐ

誤りです。過学習対策には正則化、Dropout、Early Stoppingなどを使います。

まとめ(試験直前用)

  • 勾配降下法=損失が下がる方向へパラメータを更新
  • 更新方向は勾配と逆向き
  • 学習率が大きすぎると不安定、小さすぎると遅い
  • Backpropは勾配計算、勾配降下法は更新
  • バッチ・SGD・ミニバッチは、勾配計算に使うデータ量が違う

関連: バッチ勾配降下法 / SGD / 最適化手法まとめ

© 2024-2026 stemtazoo. All rights reserved.