最終更新日:2026年10月19日
ds data-preparation preprocessing
まず結論
欠損値は、割合だけでなく発生理由と偏りを調べ、分析目的に合う対応を選びます。 必ず削除する、必ず平均で埋める、という共通の正解はありません。
このページは処理方針を決める総論です。補完後の値や分布の変化は、インプテーションの数値例で確認できます。
直感的な説明
顧客表で年齢や年収が空欄でも、理由は同じとは限りません。
| 状況 | 最初に調べること | 考える対応 |
|---|---|---|
| データ結合後だけ年齢が空欄 | キーや抽出条件に誤りがないか | 元処理を修正して再取得 |
| 高年収の人ほど年収を回答しない | 回答者と未回答者に偏りがないか | 平均補完や削除だけで済ませない |
| 停止中の設備で値が欠ける | 故障・停止状態と欠損が関係するか | 状態として記録し、目的に応じて扱う |
空欄を埋める前に、何が起きた結果の空欄かを確認します。
定義・仕組み
欠損は、分析に用いる項目の値が得られていない状態です。未回答、測定失敗、入力漏れ、システムエラーのほか、対象外で値が存在しない場合もあります。
処理方針を決める順序
- 列・期間・顧客層などごとに欠損件数と割合を確認する。
- 欠損理由、偏り、0や「対象外」との違いを調べる。
- 再取得・修正で回復できるかを調べる。
- 削除・補完・欠損を扱える方法を比較する。
- 処理の記録を残し、結果への影響を確認する。
| 選択肢 | 向いているかを考える条件 | 注意 |
|---|---|---|
| 行を削除 | 残る標本数と代表性を保てるか | 欠損が少なくても偏りは起こり得る |
| 列を除外 | 目的に必要な情報を失わないか | 欠損率だけで重要な列を捨てない |
| 代表値で補完 | 単純な基準として妥当か | 平均・中央値・最頻値など。分布や相関が変わる |
| 推定で補完 | ほかの列に有用な情報があるか | 回帰・k近傍など。複雑でも正確とは限らない |
| 欠損対応モデル等 | 手法が欠損を扱い、目的に適しているか | 対応仕様と、欠損傾向が変わる影響を確認 |
どんな場面で使う?
アンケート、売上分析、顧客予測など、実データの分析方針を決めるときに使います。「年齢が重要だから必ず中央値」とは決めず、分布・欠損理由・評価結果を見ます。
センサーデータでは時間にも注意
短い通信欠落で前後が滑らかなら、補間が候補になることがあります。一方、停止や急変の区間を埋めると異常を隠すおそれがあります。
過去データの事後分析と、今この時点の故障予測は別です。リアルタイム予測で、未来の観測値を使った補間はできません。
よくある誤解・混同
欠損があると平均は一切計算できない?
観測済みの値だけの平均は計算できます。ただし、欠けた対象を含めた全体の平均と同じとは限りません。
分析前に必ず削除か補完をする?
欠損をそのまま扱える統計手法・モデルもあります。無条件に放置するのも、一律に埋めるのも避け、利用する方法の仕様と仮定を確認します。
欠損率が低ければ削除で問題ない?
少数でも特定の顧客層や異常状態だけが落ちれば、結論が偏る可能性があります。割合と理由の両方を確認します。
まとめ(試験直前用)
- まず割合・理由・偏りを確認する。
- 削除・補完・欠損対応手法は目的と条件で選ぶ。
- 補完には分布や相関を変えるおそれがある。
- 時系列では未来の情報を使わない。
- 処理を記録し、結果への影響を確認する。
公式情報・参考リンク
- scikit-learn:Imputation of missing values
- 補完に加え、欠損を直接扱う推定器もあることを確認できます。
対応スキル項目(ver.6 データサイエンス)
- 分類:解析技術
- スキルカテゴリ:データ準備
- サブカテゴリ:データクレンジング
- 必須スキル:◯
- ★ 外れ値・異常値・欠損値とは何かを理解し、指示のもと適切に検出と除去・変換などの対応ができる
- ver.6 ★1スキルチェックで確認する
🔗 関連記事
- アノテーションとは?AI学習データの品質を決める作業【DS検定】
- カテゴリ変数とは?数値データとの違いを整理【DS検定】
- データ拡張(Data Augmentation)とは?画像AIの学習データを増やす方法【DS検定】
- データ抽出と集計の違いとは?(SQL・BIで混同しやすい操作)【DS検定】
- データトランスフォーメーションとは?(非構造化データの変換)【DS検定】