最終更新日：2026年8月21日
gk neural_network optimization
G検定トップ
＞ 勾配降下法（Gradient Descent）とは？学習率と更新方向【G検定】
まず結論
勾配降下法（Gradient Descent）は、損失が小さくなるように、勾配とは逆方向へパラメータを少しずつ更新する最適化の基本的な考え方です。
G検定では、
Backprop → 勾配を計算
勾配降下法 → 勾配を使って更新
と役割を分けると迷いにくくなります。
直感的な説明
山の高さを損失だと考えます。
現在地で傾きを調べ、高くなる方向とは逆へ少し移動することを繰り返して、より低い場所を目指すイメージです。
この「一度にどれだけ進むか」を決めるのが学習率です。
定義・仕組み
ニューラルネットワークでは、損失関数に対する各パラメータの勾配を求めます。
その勾配を使って、損失が減る方向へ重みやバイアスを更新します。
学習率
- 大きすぎる → 最小値を飛び越え、振動・発散することがある
- 小さすぎる → 更新が小さく、収束が遅くなる
データをどれだけ使って勾配を求めるか
- 全データ → バッチ勾配降下法
- 1サンプルずつ → 確率的勾配降下法（SGD）
- 一部のまとまり → ミニバッチ学習
いつ使う？（得意・不得意）
勾配を利用できるモデルの学習で広く使われます。
ただし、勾配降下法は未知データでの性能を直接保証する仕組みではありません。訓練損失を下げても過学習が起こることはあります。
また、実際の深層学習ではSGD、Momentum、Adamなど、勾配降下の考え方を発展させた更新方法が使われます。
G検定ひっかけポイント
勾配降下法と誤差逆伝播法は同じ
誤りです。
- 誤差逆伝播法 → 勾配を効率よく計算
- 勾配降下法 → 求めた勾配を使って更新
学習率は大きいほど速くてよい
誤りです。大きすぎると最適な領域を飛び越え、学習が不安定になることがあります。
勾配降下法は過学習を防ぐ
誤りです。過学習対策には正則化、Dropout、Early Stoppingなどを使います。
まとめ（試験直前用）
- 勾配降下法＝損失が下がる方向へパラメータを更新
- 更新方向は勾配と逆向き
- 学習率が大きすぎると不安定、小さすぎると遅い
- Backpropは勾配計算、勾配降下法は更新
- バッチ・SGD・ミニバッチは、勾配計算に使うデータ量が違う