最終更新日:2026年10月19日
ds data-preparation preprocessing
まず結論
インプテーションは、欠損を代表値や推定値で補う処理です。このページでは、同じ小データの補完前後を比べ、「行を残せても、元の分布を復元したとは限らない」ことを確かめます。
そもそも削除・補完のどれを選ぶかは、欠損値の処理方針で確認できます。
直感的な説明
アンケートの年齢が、20歳、30歳、40歳、未回答だったとします。観測済み3人の平均は計算でき、30歳です。全員の本当の平均は、未回答の年齢が分からないので確定できません。
欠損を受け付けないモデルなどへ入力するために、未回答を仮の30歳で埋めるのが、平均値による補完の例です。30歳がその人の真の年齢だと判明したわけではありません。
定義・仕組み
同じ4行を補完する
| 行 | 補完前 | 平均値で補完した後 |
|---|---|---|
| A | 20 | 20 |
| B | 30 | 30 |
| C | 40 | 40 |
| D | 欠損 | 30(推定値) |
補完前は観測済み3個、補完後は4個で、ここでは記述用の分散(分母n)を計算します。
| 指標 | 観測済み3個 | 補完後4個 |
|---|---|---|
| 平均 | 30 | 30 |
| 平均からの偏差平方和 | 200 | 200 |
| 分母n | 3 | 4 |
| 分散 | 200/3 ≒ 66.67 | 200/4 = 50 |
平均は同じでも、平均値を追加するとばらつきは小さくなりました。これは真の分布を復元した証拠ではありません。 欠損者に偏りがあれば、平均そのものも適切でない可能性があります。
補完値をどう作るか
数値なら平均・中央値、カテゴリなら最頻値、ほかの項目を使うなら回帰やk近傍などによる推定が候補です。この年齢例では平均と中央値がどちらも30ですが、一般には一致しません。推定が複雑でも正確とは限りません。
機械学習では、補完値や推定規則を学習データだけで求め、評価・本番データには同じ規則を適用します。scikit-learnなら、学習側でfitし、評価側はtransformで変換するという区別です。
どんな場面で使う?
行を残したいときや、モデルが欠損を受け付けないときに検討します。売上・アンケート・センサーなどでも使いますが、欠損の理由と補完による偏りを確認します。
未回答が特定の層に偏る場合や、補完値が判断を大きく変える場合は、手法を変えた比較や再収集も検討します。真に測定された値と区別するため、欠損フラグや処理記録を残す方法もあります。
よくある誤解・混同
補完した4人は、測定済み4人と同じ?
違います。補完値には不確かさがあります。同じ値を入れたことで、分布や相関が変わる可能性もあります。
平均を全データから計算した方がよい?
予測評価では評価側の情報が学習へ混ざるリークになります。交差検証でも、各学習分割の中だけで補完規則を求めます。
ほかの前処理と同じ?
スケールをそろえる正規化、カテゴリを数値で表すエンコーディング、少数クラスを増やすオーバーサンプリングとは目的が違います。欠損の扱いをカテゴリ表現に組み込むことはありますが、補完と同義ではありません。
まとめ(試験直前用)
- 補完は欠損を仮の値で埋める処理。
- 行を残せても分布や不確かさは変わる。
- 例では平均30のまま、記述用の分散は約66.67から50へ変化。
- 補完規則は学習データで求める。
公式情報・参考リンク
- scikit-learn:Imputation of missing values
- 代表値や推定による補完方法を確認できます。
- scikit-learn:Common pitfalls and recommended practices
- 補完などの前処理を学習データだけで学習する理由を確認できます。
対応スキル項目(ver.6 データサイエンス)
- 分類:解析技術
- スキルカテゴリ:データ準備
- サブカテゴリ:データクレンジング
- 必須スキル:◯
- ★ 外れ値・異常値・欠損値とは何かを理解し、指示のもと適切に検出と除去・変換などの対応ができる
- ver.6 ★1スキルチェックで確認する
🔗 関連記事
- アノテーションとは?AI学習データの品質を決める作業【DS検定】
- カテゴリ変数とは?数値データとの違いを整理【DS検定】
- データ拡張(Data Augmentation)とは?画像AIの学習データを増やす方法【DS検定】
- データ抽出と集計の違いとは?(SQL・BIで混同しやすい操作)【DS検定】
- データトランスフォーメーションとは?(非構造化データの変換)【DS検定】