Skip to the content.

最終更新日:2026年9月23日

まず結論

Gradient Boosting(勾配ブースティング)は、現在のモデルの損失を減らす方向に、弱学習器を1つずつ逐次追加するアンサンブル学習です。

G検定では、

  • Boosting → 逐次
  • Gradient Boosting → 損失の負の勾配を近似
  • Bagging → 主に独立・並列

で切り分けます。

直感的な説明

最初のモデルで予測し、どこを直せば損失が下がるかを調べます。

次の弱学習器は、

今のモデルに足すと、損失が減る方向

を学びます。

これを繰り返して予測関数を改善します。

定義・仕組み

Gradient Boostingでは、現在のモデルに対する損失関数の負の勾配を計算し、その値を次の弱学習器で近似します。

弱学習器には浅い決定木がよく使われます。

二乗誤差の場合

二乗誤差を損失に使う回帰では、負の勾配が残差に対応します。

そのため、

前の残差を次の木が学ぶ

と説明されることがあります。

ただし、これは二乗誤差で特に直感的な見方です。

一般のGradient Boostingは、損失関数の勾配として理解する方が正確です。

勾配降下法との関係

Gradient Boostingとニューラルネットワークの通常の勾配降下法は同じアルゴリズムではありません。

一方で、どちらも損失を勾配方向に減らすという考え方を持ちます。

  • ニューラルネット → パラメータを勾配で更新
  • Gradient Boosting → 予測関数へ弱学習器を追加

という違いです。

いつ使う?(得意・不得意)

Gradient Boostingは、

  • 分類
  • 回帰
  • 表形式データ

などで広く使われます。

逐次学習のためBaggingほど単純に並列化しにくく、木の数・深さ・学習率などを調整しないと過学習する場合があります。

G検定ひっかけポイント

Gradient Boosting=Bagging?

❌ ブートストラップ標本で独立に学習
⭕ 弱学習器を逐次追加

必ず誤分類サンプルの重みを増やす?

❌ BoostingならすべてAdaBoost方式
⭕ 誤分類サンプルの重み付けはAdaBoostの代表的特徴

残差を学ぶ?

⭕ 二乗誤差では分かりやすい説明
ただし一般には負の勾配を近似すると覚える方が安全です。

まとめ(試験直前用)

  • Gradient Boosting=逐次アンサンブル
  • 損失の負の勾配を学ぶ
  • 弱学習器は決定木が代表的
  • 二乗誤差では残差と対応
  • AdaBoostとは補正方法が異なる
  • Baggingは主に独立、Boostingは逐次

参考資料

© 2024-2026 stemtazoo. All rights reserved.