最終更新日：2026年8月22日
gk neural_network regularization
まず結論
正則化は、モデルが学習データに合わせすぎるのを抑え、未知データへの汎化性能を高めるための考え方です。
G検定では、まず次を切り分けます。
- 重みに罰則を加える → L1 / L2正則化
- 学習中にニューロンをランダムに無効化 → Dropout
- 検証性能を見て学習を止める → Early Stopping
目的は同じでも、どこへ作用するかが違うと考えると整理しやすくなります。
直感的な説明
過学習したモデルは、問題集の答えを細かく丸暗記して、初見問題に対応できない状態に似ています。
正則化は、
細部まで覚えすぎないようにブレーキをかける
考え方です。
ただしブレーキを強くしすぎると、必要なパターンまで学べず未学習になることがあります。
定義・仕組み
狭い意味での正則化では、通常の損失にモデルの複雑さを抑える罰則項を加えます。
学習したい誤差
＋
複雑さへのペナルティ
→ 正則化した目的関数
代表例はL1とL2です。
| 手法 | ペナルティ | 主な特徴 |
|---|---|---|
| L1正則化 | 重みの絶対値 | 重みを0にしやすい、疎になりやすい |
| L2正則化 | 重みの二乗 | 大きな重みを抑え、全体を小さくしやすい |
詳しい比較は正則化（L1・L2）で整理しています。
広い意味での正則化
過学習を抑えて汎化性能を高めるという観点では、DropoutやEarly Stoppingも正則化の文脈で扱われます。
ただし仕組みは異なります。
L1 / L2
→ 重みへの罰則
Dropout
→ 学習中のネットワーク構造にランダム性
Early Stopping
→ 学習時間を制限
データ拡張
→ 入力データの多様性を増やす
Weight Decayとの関係
Weight Decayは重みを小さくする方向へ働くため、L2正則化と近い概念として説明されることがあります。
ただし、最適化手法によってはL2正則化とWeight Decayが完全に同じ挙動にならないことがあります。G検定では細かな実装差よりも、L2は「重みの二乗ペナルティ」、Weight Decayは「更新時に重みを減衰させる考え方」と役割を分けておくと安全です。
いつ使う？（得意・不得意）
得意な場面
- 訓練性能は高いのに検証性能が悪い
- モデルが複雑で過学習している
- 大きな重みや特定の表現への依存を抑えたい
注意点
- 正則化を強くしすぎると高バイアス・未学習になりやすい
- 正則化を入れれば必ず性能が上がるわけではない
- データ不足や評価方法の問題まで正則化だけで解決できるわけではない
正則化とバイアス・バリアンスの関係は、バイアス・バリアンス トレードオフとセットで見ると理解しやすくなります。
G検定ひっかけポイント
| 選択肢の表現 | 判断 |
|---|---|
| 重みの絶対値に罰則 | L1正則化 |
| 重みの二乗に罰則 | L2正則化 |
| ニューロンをランダムに無効化 | Dropout |
| 検証性能を監視して停止 | Early Stopping |
| 入力データに変換を加えて多様性を増やす | データ拡張 |
よくある誤りは、「過学習対策ならすべて同じ仕組み」と考えることです。
G検定では「何に作用しているか」を見ます。
- 重み → L1 / L2
- ニューロン・経路 → Dropout
- 学習時間 → Early Stopping
- 入力データ → データ拡張
まとめ（試験直前用）
- 正則化の目的は過学習を抑えて汎化性能を高めること
- L1＝絶対値、L2＝二乗のペナルティ
- Dropout＝ニューロンをランダム無効化
- Early Stopping＝検証性能を見て停止
- 強すぎる正則化は未学習につながることがある
- 目的ではなく、何に作用するかで切り分ける