最終更新日：2026年8月21日
gk neural_network cnn
まず結論
正則化・データ拡張・正規化は、目的も作用する場所も異なる別の考え方です。
G検定では、まず「何に作用しているか」を見ます。
| 用語 | 主に作用するもの | 主目的 |
|---|---|---|
| 正則化 | モデル・重みなど | 複雑さを抑え、過学習を抑制 |
| データ拡張 | 学習データ | 多様性を増やし、汎化を助ける |
| 正規化 | 入力値・特徴量のスケール | 値の尺度をそろえる |
| Batch Normalization | ネットワーク内部の活性値 | 学習を安定させやすくする |
「全部が過学習対策だから同じ」ではありません。
直感的な説明
- 正則化 → モデルにブレーキをかける
- データ拡張 → 問題集のバリエーションを増やす
- 正規化 → 入力データの物差しをそろえる
- Batch Normalization → ネットワーク内部の値を扱いやすく整える
似た言葉でも、どこを変えているかが違います。
定義・仕組み
正則化
モデルが学習データに合わせすぎないよう、複雑さを抑える考え方です。
代表例：
狭義には、L1・L2のように損失関数へ罰則項を加える方法を指すことがあります。
データ拡張
既存の学習データに、ラベルの意味を壊さない変換を加えて多様性を増やします。
画像なら、回転・反転・切り出し・色変換などが代表例です。
ポイントは、モデルではなく入力データ側を変えることです。
正規化
前処理の文脈では、特徴量の値を0〜1などの範囲へ変換し、スケールをそろえる処理を指すことが多いです。
詳しくは正規化で整理しています。
Batch Normalization
名前にNormalizationが入りますが、単純な入力前処理とは別です。学習時にミニバッチ統計を使って中間活性を正規化し、その後に学習可能な変換を行います。
したがって、入力を0〜1にする正規化とBatch Normalizationを同一視しないことが重要です。
いつ使う？（得意・不得意）
正則化
- 過学習が問題になっている
- モデルが複雑すぎる
データ拡張
- 学習データが少ない
- 画像などで、意味を保った変換が作れる
正規化
- 特徴量ごとに桁や範囲が大きく異なる
- 距離や勾配にスケール差の影響が出やすい
Batch Normalization
- ニューラルネットワークの学習を安定させたい
- 内部表現のスケール変動を抑えたい
注意点として、正規化そのものを過学習対策と決めつけないことが大切です。結果として学習や汎化に良い影響が出ることはありますが、主目的は別です。
G検定ひっかけポイント
「全部過学習対策」は危険
❌ 正規化・データ拡張・正則化はすべて同じ目的
⭕ 作用対象と主目的が異なります。
正規化と正則化は名前が似ているだけ
- Normalization → スケールや分布を整える
- Regularization → モデルの複雑さを抑える
Dropoutはデータ拡張ではない
Dropoutはモデル内部のニューロンを学習時に無効化する手法です。
選択肢を切る判断基準
- 重みに罰則 → 正則化
- 学習データを変形・増やす → データ拡張
- 0〜1などにスケール調整 → 正規化
- ミニバッチの統計で中間活性を整える → Batch Normalization
まとめ（試験直前用）
- 正則化＝モデル側の複雑さを抑える
- データ拡張＝学習データの多様性を増やす
- 正規化＝入力のスケールをそろえる
- Batch Normalization＝ネットワーク内部の学習を安定化
- 「どこに作用するか」で切る