gk neural_network training
G検定トップ
> バッチ学習・ミニバッチ・エポックまとめ
まず結論
- 学習データを「どの単位で」「何回」使うかを表す用語
- バッチ・ミニバッチ・オンラインは 更新頻度の違い
- エポックは データ全体を何周したか を表す
直感的な説明
学習は、
「データを見て → 間違いを直す」
の繰り返しです。
- まとめて直すのか
- 少しずつ直すのか
- 何回くり返すのか
を決めるのが、 バッチ・ミニバッチ・エポック です。
定義・仕組み
バッチ学習(Batch Learning)
- 全学習データを一度に使って 重みを更新
特徴
- 勾配が安定
- メモリ使用量が大きい
ミニバッチ学習(Mini-batch Learning)
- 学習データを 小さなかたまり に分けて更新
特徴
- 安定性と効率のバランスが良い
- 現在の主流
オンライン学習(SGD)
- 1データごと に重みを更新
特徴
- 学習が速い
- ノイズの影響を受けやすい
エポック(Epoch)
- 学習データ全体を1回使い切ること
例:
- データ数:1000
- ミニバッチサイズ:100
→ 1エポック = 10回の更新
イテレーション(Iteration)
- 重み更新を1回行うこと
ミニバッチ学習では、
- 1エポック = 複数イテレーション
となります。
いつ使う?(得意・不得意)
| 用語 | 意味 |
|---|---|
| バッチ | 全データで更新 |
| ミニバッチ | 小分け更新(主流) |
| オンライン | 逐次更新 |
| エポック | データの周回数 |
| イテレーション | 更新回数 |
G検定ひっかけポイント
- ❌「1エポック = 1回更新」→ 誤り
- ❌「ミニバッチ = データを減らす」→ 誤り
- ✅ エポックは 周回数
- ✅ イテレーションは 更新回数
- ✅ SGDという言葉は オンライン学習 を指すことが多い
まとめ(試験直前用)
- バッチ系用語は 更新単位と回数の違い
- 現在の主流は ミニバッチ学習
- エポックとイテレーションを混同しない
👉 次はいよいよ CNN(畳み込みニューラルネットワーク) に進めます。
🔗 関連記事
- CLIP(画像とテキストの対応付けモデル)とは?G検定対策
- PaLM(大規模言語モデル)とは?G検定対策
- PaLM-E(環境対応マルチモーダルモデル)とは?G検定対策
- TF-IDF・Word2Vec・BERTの違いとは?役割で整理するNLP基礎【G検定対策】
- A2C / A3C とは?(Actor–Critic の実装差)【G検定対策】
🏠 G検トップに戻る