最終更新日:2026年9月24日
gk neural_network optimization
まず結論
バッチ勾配降下法(Batch Gradient Descent)は、学習データ全体を使って勾配を計算し、1回パラメータを更新する方法です。
G検定では、1回の更新に使うデータ量で切り分けます。
- 全データ → バッチ勾配降下法
- 1サンプル → 古典的なSGD
- 一部のまとまり → ミニバッチ法
直感的な説明
クラス全員の答案を集計してから、次の授業方針を決めるイメージです。
全データから勾配を計算するため、同じパラメータ位置では標本の取り方による勾配のばらつきがありません。
一方、データが大きいと1回の更新に多くの計算とメモリが必要です。
定義・仕組み
基本的な流れは次の通りです。
- 全学習データで損失を計算
- 全データに対する勾配を求める
- 勾配を使ってパラメータを更新
- 繰り返す
重要なのは、
全データを使うから必ず速く収束する
とは限らないことです。
1更新あたりの勾配は決定的ですが、更新回数・計算時間・最適化の進み方はデータや損失関数によって変わります。
いつ使う?(得意・不得意)
向いている場面
- データ全体を1回で扱える
- 決定的な全データ勾配を使いたい
- 問題規模が比較的小さい
注意点
- 大規模データでは1更新が重い
- 全データを保持・処理するメモリが必要
- 深層学習ではミニバッチ学習が広く使われる
なお、現在の実務では「SGD」という語が、ミニバッチを使う確率的最適化まで広く含めて呼ばれることがあります。
試験では問題文が1サンプルかミニバッチかを明示しているかを見ます。
G検定ひっかけポイント
バッチ=ミニバッチ?
❌ 同じ
⭕ バッチ勾配降下法は全データ、ミニバッチは一部
バッチは必ず最速?
❌ 全データだから最速
⭕ 1回の更新は重く、計算効率は問題依存
SGD
古典的な定義では1サンプルずつ勾配を計算します。
ただし実装・文献ではミニバッチSGDも単にSGDと呼ばれることがあるため、名称だけでなく1更新に使うデータ量を確認します。
まとめ(試験直前用)
- バッチ勾配降下法=全データで1更新
- 古典的SGD=1サンプル
- ミニバッチ=一部のデータ
- 全データ勾配は標本抽出によるばらつきがない
- 大規模データでは1更新が重い
- 名前より「1更新に何件使う?」で切る