最終更新日：2026年9月8日
gk machine_learning supervised_learning cheatsheet
まず結論
教師あり学習の代表手法は、何を予測するかとどのような境界・規則を学ぶかで見分けます。
| 手法 | 主な予測対象 | 学習するもの | 一言で見分ける |
|---|---|---|---|
| 線形回帰 | 連続値 | 入力の線形結合 | 数値を直線・平面で予測 |
| ロジスティック回帰 | クラス、所属確率 | 線形な決定境界 | 名前は回帰でも分類 |
| SVM | 主にクラス（回帰も可能） | マージンが最大となる境界 | 境界に近い点が重要 |
| 決定木 | クラス・連続値 | 特徴量の条件分岐 | if–then型の規則 |
最優先で覚える対応は、次の4つです。
- 線形回帰：売上や温度などの連続値を予測する
- ロジスティック回帰：合格・不合格などのクラスを予測する
- SVM：クラス間の余白（マージン）を最大にする
- 決定木：特徴量のしきい値でデータを順番に分割する
前提となる学習形式は教師あり学習とは、目的変数の違いは回帰と分類の違いもあわせて確認してください。
直感的な説明
製造ラインのセンサーデータを使う場面で考えると、違いが見えやすくなります。
- 製品の寸法を「12.3 mm」のような数値で予測したい
→ 線形回帰 - 製品が不良品である確率を求め、良品・不良品に分けたい
→ ロジスティック回帰 - 多数のセンサー値から、良品と不良品を最も余裕をもって分けたい
→ SVM - 「温度が80度以上、かつ振動が一定値以上なら不良」のような規則がほしい
→ 決定木
つまり、線形回帰は数値を当てる直線、ロジスティック回帰は確率を経由して分類する境界、SVMは最も余白の広い境界、決定木は質問を重ねる分岐図です。
定義・仕組み
線形回帰
線形回帰は、目的変数 (y) を説明変数の線形結合で表します。
[ y = w_0 + w_1x_1 + w_2x_2 + cdots + w_px_p ]
一般的な最小二乗法では、予測値と実測値の差である残差の二乗和が小さくなるように係数を求めます。説明変数が1個なら単回帰、複数なら重回帰です。重回帰も線形回帰の一種であり、別の学習形式ではありません。
なお「線形」とは、説明変数の数が1個という意味ではなく、基本的には係数に対して線形であることを指します。
ロジスティック回帰
ロジスティック回帰は、入力の線形結合をシグモイド関数などで0から1の値に変換し、クラスへの所属確率として扱います。
[ P(y=1mid x)= rac{1}{1+exp(-z)}, qquad z=w_0+w_1x_1+cdots+w_px_p ]
たとえば確率が0.5以上ならクラス1、それ未満ならクラス0と判定できます。名前に「回帰」とありますが、代表的な用途は分類です。基本形の決定境界は線形です。
SVM（サポートベクターマシン）
SVMは、クラスを分ける境界と各クラスのデータとの距離、つまりマージンが最大になる境界を求めます。境界に最も近く、決定に強く影響するデータ点がサポートベクトルです。
直線では分けにくいデータには、カーネル法（カーネルトリック）を使い、高次元の特徴空間で線形分離することに相当する計算を行えます。カーネル法は次元削減ではありません。
SVMは分類だけでなく、回帰に用いるSVR（サポートベクター回帰）もあります。また、通常のSVMの出力は確率そのものではありません。
決定木
決定木は「特徴量Aがしきい値以上か」のような質問を繰り返し、データを枝分かれさせます。分類木ではクラスの混ざり具合が小さくなる分割、回帰木では予測誤差が小さくなる分割を選びます。
非線形な関係や特徴量同士の組み合わせを表現しやすく、判断過程も比較的説明しやすい一方、木を深くしすぎると訓練データに合わせすぎて過学習しやすくなります。
比較表
| 観点 | 線形回帰 | ロジスティック回帰 | SVM | 決定木 |
|---|---|---|---|---|
| 主用途 | 回帰 | 分類 | 分類・回帰 | 分類・回帰 |
| 基本的な形 | 線形 | 線形な決定境界 | 最大マージン境界 | 条件分岐 |
| 非線形への対応 | 特徴量変換などが必要 | 特徴量変換などが必要 | カーネルで対応可能 | 分岐で自然に対応 |
| 解釈性 | 係数を解釈しやすい | 係数を解釈しやすい | カーネル利用時は低め | 木が浅ければ高い |
| 特徴量の尺度 | 目的により標準化を検討 | 正則化時などに重要 | 一般に尺度の影響を受ける | 原則として尺度変換は不要 |
| 主な注意点 | 外れ値・非線形関係 | 名前と用途の混同 | 大規模データで計算負荷 | 深い木の過学習 |
いつ使う？（得意・不得意）
| 手法 | 向いている場面 | 苦手・注意する場面 |
|---|---|---|
| 線形回帰 | 連続値を予測し、各特徴量の影響も説明したい | 強い非線形関係、外れ値の影響が大きいデータ |
| ロジスティック回帰 | 分類確率と説明しやすい基準がほしい | 複雑な非線形境界をそのまま表したい |
| SVM | 特徴量が多く、クラス間に明確な余白を作りたい | サンプル数が非常に多い、確率を直接得たい |
| 決定木 | 非線形関係や条件分岐を捉え、規則を説明したい | 深い木で過学習しやすい、データの小さな変化で木が変わる |
単体の決定木の不安定さや過学習を抑える代表的な方法が、複数の木を組み合わせるランダムフォレストです。複数モデルを組み合わせる考え方はアンサンブル学習で整理しています。
G検定ひっかけポイント
-
「ロジスティック回帰は回帰問題の手法」→ 誤り
名前に回帰とあるものの、代表的には分類に使います。 -
「SVMは分類にしか使えない」→ 誤り
分類用のSVCだけでなく、回帰用のSVRもあります。 -
「カーネルトリックは高次元データを低次元に圧縮する」→ 誤り
非線形な問題を高次元の特徴空間で線形に扱うことに相当する計算です。次元削減とは異なります。 -
「決定木は分類専用である」→ 誤り
分類木と回帰木の両方があります。 -
「重回帰は目的変数が複数ある」→ 誤り
重回帰は、通常、説明変数が複数ある線形回帰です。 -
「決定木では必ず標準化が必要」→ 誤り
しきい値による順序的な分割なので、通常は標準化が必須ではありません。一方、距離や内積が関係するSVMでは特徴量の尺度に注意します。 -
「ランダムフォレストは1本の決定木である」→ 誤り
複数の決定木を組み合わせるアンサンブル手法です。 -
「線形モデルは説明変数を1個しか扱えない」→ 誤り
線形回帰もロジスティック回帰も複数の説明変数を扱えます。
まとめ（試験直前用）
- 線形回帰：連続値を線形結合で予測し、残差二乗和を小さくする
- ロジスティック回帰：名前は回帰でも分類。確率を経由してクラスを決める
- SVM：最大マージン。境界付近のサポートベクトルが重要
- カーネルトリック：非線形問題に対応する仕組み。次元削減ではない
- 決定木：条件分岐で分類・回帰。深すぎると過学習しやすい
- 尺度への注意：SVMは尺度の影響を受けやすく、決定木は通常標準化が不要
- 単体木と森林を区別：ランダムフォレストは複数の決定木のアンサンブル
迷ったら、予測対象 → 境界・規則 → 非線形への対応 → 過学習の順に選択肢を確認します。