最終更新日：2026年8月26日
gk machine_learning ensemble
G検定トップ
＞ ブースティングとは？AdaBoost・Gradient Boostingとの違い【G検定対策】
まず結論
ブースティング（Boosting）は、学習器を逐次的に追加し、これまでのアンサンブルで十分に扱えなかった部分を補いながら全体の予測を改善する手法です。
G検定では、
- 並列に学習しやすい → バギング
- 逐次的に学習器を追加 → Boosting
で切り分けます。
直感的な説明
最初の学習器だけで答えを出すのではなく、前までの結果を見ながら「次はどこを補えばよいか」を考えて学習器を追加していくイメージです。
ただし、前に間違えたサンプルへ必ず重みを付けるわけではありません。これはAdaBoostの代表的な仕組みです。
定義・仕組み
Boostingはアンサンブル学習の一種です。
AdaBoost
誤分類されたサンプルの重みを大きくし、次の弱学習器がそのサンプルを重視するように学習します。
Gradient Boosting
現在のモデルの損失を減らす方向、すなわち損失の負の勾配に対応する量を次の学習器で近似して追加します。
詳しくは勾配ブースティングで整理しています。
| 観点 | AdaBoost | Gradient Boosting |
|---|---|---|
| 逐次学習 | する | する |
| 代表的な補正 | 誤分類サンプルの重み付け | 損失の勾配に基づく補正 |
いつ使う？（得意・不得意）
表形式データの分類・回帰などで広く使われます。単純な学習器を組み合わせて高い予測性能を目指せる一方、逐次的に学習するためバギングより並列化しにくいことがあります。
ノイズや外れ値への感度、過学習のしやすさはアルゴリズムや設定によって異なります。「Boostingなら必ず過学習しやすい」と絶対視しない方が安全です。
G検定ひっかけポイント
- ❌「Boostingは複数モデルを完全に独立・並列に学習」→ Bagging
- ❌「Boostingは必ず誤分類サンプルの重みを増やす」→ AdaBoostの特徴を一般化しすぎ
- ⭕「弱学習器を逐次追加」→ Boosting
- ⭕「誤分類サンプルの重み付け」→ AdaBoost
- ⭕「損失の勾配を利用」→ Gradient Boosting
まとめ（試験直前用）
- Boosting＝逐次的に学習器を追加
- AdaBoost＝誤分類サンプルの重み付け
- Gradient Boosting＝損失の勾配に基づく補正
- Bagging＝主に独立・並列、Boosting＝逐次
- AdaBoostの仕組みをBoosting全体の定義にしない