最終更新日：2026年8月22日
gk neural_network regularization
G検定トップ
＞ L1・L2正則化とは？違いとバイアス・バリアンスの関係【G検定対策】
まず結論
L1・L2正則化は、損失に重みへのペナルティを加えてモデルの複雑さを抑える手法です。
G検定では次の対応を最優先で覚えます。
- L1 → 重みの絶対値 → 0になりやすい
- L2 → 重みの二乗 → 大きな重みをなだらかに抑える
直感的な説明
正則化は、モデルに「自由に重みを大きくしすぎない」という制約をかけるイメージです。
L1は不要な重みを思い切って0にしやすく、L2は多くの重みを少しずつ小さくする方向に働きます。
L1
→ 0を作りやすい
→ スパース化
L2
→ 大きな重みを抑える
→ 重みを全体的に小さくしやすい
定義・仕組み
通常の損失に、重みの大きさに応じたペナルティを加えます。
L1正則化
- 重みの絶対値の和を使う
- 一部の重みが0になりやすい
- 結果として特徴選択のような効果が得られることがある
L2正則化
- 重みの二乗和を使う
- 特に大きな重みに強いペナルティがかかる
- 重みを0にするより、全体を小さくする方向に働きやすい
| 観点 | L1 | L2 |
|---|---|---|
| ペナルティ | 絶対値 | 二乗 |
| 重み | 0になりやすい | 全体に小さくなりやすい |
| 判断語 | スパース、特徴選択 | 大きな重みを抑える |
L2正則化とWeight Decay
L2正則化とWeight Decayは、SGDなどでは同じ形の更新になることがあり、近い意味で説明されることがあります。
ただし、Adamなどの適応的最適化手法では必ずしも同じ挙動ではありません。AdamWのようにWeight Decayを最適化更新から分離して扱う方法もあります。
G検定では細かな実装差まで覚える必要はありませんが、
「L2正則化＝Weight Decayと常に完全に同じ」ではない
と押さえておくと安全です。
正則化全体の位置付けは、正則化で確認できます。
いつ使う？（得意・不得意）
L1・L2は、過学習を抑えたいときに使われます。
一般に正則化を強めると、モデルの自由度を抑えるため、
バリアンス ↓ の方向
バイアス ↑ の方向
に働きやすくなります。
ただし、正則化を強くすれば必ず汎化性能が上がるわけではありません。強すぎるとモデルが必要な関係まで表現できず、未学習になることがあります。
G検定ひっかけポイント
L1とL2を逆にしない
- 「絶対値」→ L1
- 「二乗」→ L2
- 「重みを0にしやすい」→ L1
正則化＝必ず精度向上ではない
正則化の目的は訓練精度を上げることではなく、過度な適合を抑えて汎化性能を改善することです。
DropoutやEarly Stoppingと仕組みが違う
- 罰則項を加える → L1 / L2
- ニューロンをランダム無効化 → Dropout
- 検証性能を監視して停止 → Early Stopping
Weight Decayと完全同義とは限らない
- L2正則化 → 損失に重みの二乗ペナルティを加える
- Weight Decay → 更新時に重みを減衰させる考え方
- SGDでは一致する場合があるが、適応的最適化では区別が重要になることがある
まとめ（試験直前用）
- L1＝絶対値のペナルティ
- L2＝二乗のペナルティ
- L1は重みを0にしやすい
- 正則化を強めると高バイアス側へ寄りやすい
- 強すぎる正則化は未学習につながることがある
- L2とWeight Decayは近いが、常に完全に同じとは限らない