最終更新日：2026年7月18日

ds data-collection preprocessing

まず結論

  • Webクローリング：リンクをたどりながらWebページを巡回・収集する
  • Webスクレイピング：取得したページから必要なデータを抽出する

DS検定では、

巡回・収集ならクローリング、抽出・整形ならスクレイピング

と切り分けます。

ただし、実務では技術だけでなく、利用規約、著作権、個人情報、アクセス負荷への配慮も必要です。

直感的な説明

本屋を例にすると、

  • 本を探して集める：クローリング
  • 本の中から必要な箇所を書き出す：スクレイピング

という関係です。

実際の処理も、

  1. URLを見つける
  2. ページを取得する
  3. HTMLを解析する
  4. 商品名や価格を抜き出す

という流れになります。

1と2がクローリング寄り、3と4がスクレイピング寄りです。

定義・仕組み

Webクローリング

Webページ内のリンクをたどり、複数ページを自動的に取得・保存します。

主な役割は次のとおりです。

  • URLの発見
  • ページの巡回
  • HTMLなどの取得
  • 再訪問の管理

検索エンジンのクローラーが代表例です。

Webスクレイピング

取得したHTMLなどを解析し、必要な項目だけを抽出します。

例：

  • 商品名
  • 価格
  • 投稿日
  • 記事タイトル
  • 表データ

抽出後はCSVやデータベースへ保存することもあります。

API取得との違い

方法 特徴
API 提供者が決めた形式でデータを取得する
スクレイピング 人向けページから必要情報を抽出する

APIが提供されている場合は、一般にAPIの方が構造が安定し、利用条件も明確です。

静的ページと動的ページ

  • 静的ページ：取得したHTMLに必要情報が含まれる
  • 動的ページ：JavaScript実行後にデータが表示される

動的ページでは、単純なHTTP取得だけでは情報が得られず、ブラウザ操作や通信内容の確認が必要になる場合があります。

どんな場面で使う？

  • 競合価格の調査
  • ニュース記事の収集
  • 市場動向の把握
  • 公開情報の定期確認
  • 検索エンジンのインデックス作成

実務では、次の順で取得方法を検討します。

  1. 公式APIがあるか
  2. ダウンロード用データがあるか
  3. スクレイピングが許可・許容されるか
  4. 必要最小限の頻度で取得できるか

よくある誤解・混同

クローリング＝データ抽出

誤りです。クローリングは主にページの発見・巡回・取得です。

スクレイピング＝ページのダウンロード

誤りです。スクレイピングの中心はページ内から必要項目を抽出することです。

robots.txtで許可されていれば何をしてもよい

誤りです。robots.txtはクローラーへの巡回方針を示す仕組みであり、法的な許可や利用規約への同意そのものではありません。

公開ページなら自由に大量取得できる

誤りです。

  • 利用規約
  • 著作権
  • 個人情報
  • データベース権などの権利
  • サーバー負荷

を確認する必要があります。

アクセス頻度は高いほどよい

誤りです。短時間に大量アクセスすると相手サーバーへ負荷をかけます。

実務では、

  • 待ち時間を入れる
  • 必要なページだけ取得する
  • キャッシュを使う
  • 更新時だけ再取得する
  • User-Agentを適切に設定する

といった配慮を行います。

ブラウザ自動操作＝スクレイピング

ブラウザ自動操作は取得手段の一つです。クリックやJavaScript実行でページを表示し、その後データを抽出する場合があります。

まとめ（試験直前用）

  • クローリングはページを巡回・収集する
  • スクレイピングはページ内データを抽出する
  • APIは提供者が用意した構造化された取得口
  • robots.txtは法的許可そのものではない
  • 利用規約、権利、個人情報、サーバー負荷を確認する
  • 動的ページではブラウザ操作が必要な場合がある
  • 「巡回」と「抽出」で選択肢を切る

対応スキル項目（データエンジニアリング力シート）

  • データ収集
  • データ取得
  • データソースに応じて適切な取得方法を選ぶ
  • 法務・倫理・負荷へ配慮してデータを収集する

🔗 関連記事

© 2024-2026 stemtazoo. All rights reserved.