DS検定トップ ＞ データ前処理（Preprocessing）とは？分析前に行う重要ステップ【DS検定】

まず結論

データ前処理とは、分析や機械学習を行う前にデータを整える作業です。

DS検定では、モデルを作る前にデータ品質を整える工程として理解できることが重要です。

直感的な説明

売上データを分析しようとしても、実際のデータには、

• 欠損値がある
• 商品名などの表記が揺れている
• 文字データが混ざっている
• 数値の尺度が大きく異なる

といった問題があります。

そこで、

• 欠損値を補完・削除する
• データ形式をそろえる
• カテゴリを数値化する
• 数値のスケールを調整する

といった処理を行います。

このように、データを分析できる状態に整える作業がデータ前処理です。

定義・仕組み

代表的な前処理は次の通りです。

処理	内容
欠損値処理	空白データを補完・削除する
エンコーディング	カテゴリ変数を数値化する
正規化・標準化	数値のスケールを調整する
マッピング	値を別の値へ対応づけて変換する
特徴量エンジニアリング	新しい特徴量を作成・変換する

判断ポイント： 前処理は「モデルを学習させること」ではなく、学習前にデータを整えることです。

どんな場面で使う？

① 機械学習モデルを作る前

• 欠損値
• データ形式
• スケール
• カテゴリ変数

などを整えます。

前処理が不十分だと、モデルが学習できなかったり、性能や解釈に悪影響が出たりします。

② 統計分析・BI分析

機械学習だけでなく、統計分析やBIでもデータ形式や表記をそろえる前処理が必要です。

つまり、前処理はデータ分析全体の基礎工程です。

よくある誤解・混同

❌ 前処理 = データ収集

• データ収集 → データを集める
• 前処理 → 集めたデータを整える

❌ 前処理 = モデル学習

一般的な流れは、

前処理 → モデル学習 → 評価

です。

❌ 特徴量エンジニアリングと完全に同じ

特徴量エンジニアリングは、前処理と重なる部分がありますが、特にモデルに役立つ特徴量を作成・変換することに焦点を置く考え方です。

まとめ（試験直前用）

• データ前処理 = 分析前にデータを整える作業
• 欠損値処理・エンコーディング・正規化などが代表例
• 収集ではなく整理
• モデル学習の前に行う

DS検定では、「分析可能な形にデータを整える工程」なら前処理と判断しましょう。

対応スキル項目（データサイエンス力シート）

• データ理解・前処理
• データ加工
• ★ データの前処理（欠損値処理、正規化、カテゴリ変数の処理など）を理解している

🔗 関連記事

• アノテーションとは？AI学習データの品質を決める作業【DS検定】
• カテゴリ変数とは？数値データとの違いを整理【DS検定】
• データ拡張（Data Augmentation）とは？画像AIの学習データを増やす方法【DS検定】
• データ抽出と集計の違いとは？（SQL・BIで混同しやすい操作）【DS検定】
• データトランスフォーメーションとは？（非構造化データの変換）【DS検定】

---

🏠 DS検定トップに戻る