gk machine_learning evaluation
G検定トップ
> バイアス・バリアンス トレードオフ
まず結論
- バイアスとバリアンスは同時に小さくできない
- モデルの複雑さを上げると
バイアス↓・バリアンス↑ - 過学習・未学習の根本原因を説明する考え方
直感的な説明
バイアス・バリアンス トレードオフは、
「どれくらい細かく考えるか」のバランス問題
です。
- 大ざっぱに考えすぎる → ミスが多い
- 細かく考えすぎる → 応用が効かない
この ちょうどいい地点 を探すのが目的です。
用語の定義
バイアス(Bias)
- モデルの 思い込みの強さ
- 単純すぎる仮定による誤差
例:
- 線形モデルで複雑な関係を表そうとする
バリアンス(Variance)
- データへの 敏感さ
- 学習データが変わると結果が大きく変わる性質
例:
- ノイズまで覚えてしまう複雑なモデル
トレードオフとは?
モデルを単純にすると
- バイアス:大
- バリアンス:小
👉 未学習(アンダーフィッティング)
モデルを複雑にすると
- バイアス:小
- バリアンス:大
👉 過学習(オーバーフィッティング)
重要ポイント
- バイアスとバリアンスは 反対方向に動く
- どちらかを下げると、もう一方が上がりやすい
学習曲線との関係(頻出)
| 状態 | バイアス | バリアンス |
|---|---|---|
| 未学習 | 大 | 小 |
| 過学習 | 小 | 大 |
| 良好 | 適度 | 適度 |
👉 学習曲線はトレードオフの結果を見ている
対策の考え方
バイアスが大きいとき(未学習)
- モデルを複雑にする
- 特徴量を増やす
- 学習時間を増やす
バリアンスが大きいとき(過学習)
- 正則化を強くする
- データを増やす
- ドロップアウト・早期終了を使う
G検定ひっかけポイント
- ❌「バイアスとバリアンスは両方ゼロが理想」→ 誤り
- ❌「モデルは複雑なほど良い」→ 誤り
- ✅ トレードオフ関係にある
- ✅ 汎化性能はバランスで決まる
まとめ(試験直前用)
- バイアス:単純すぎ問題
- バリアンス:覚えすぎ問題
- 両者はトレードオフ
- 学習曲線とセットで理解する
👉 次は 正則化(L1 / L2) に進むと対策まで一気につながる。
🔗 関連記事
- A/Bテストとは?データで施策を比較する方法【DS検定】
- マクロ平均・マイクロ平均・重み付き平均の違いとは?【DS検定】
- バイアス・バリアンスのトレードオフとは?過学習との関係【DS検定】
- 決定係数と寄与率とは?回帰モデルの説明力を理解する【DS検定】
- 分類モデルの評価指標の比較とは?【DS検定リテラシー】
🏠 G検トップに戻る