---
title: "Webクローリングとスクレイピングの違いとは？【DS検定】"
description: "Webクローリングをページの巡回・収集、Webスクレイピングをページ内データの抽出として整理します。API取得、robots.txt、利用規約、アクセス負荷、動的ページとの違いをDS検定向けに確認します。"
last_modified_at: "2026-07-18"
canonical_url: "https://stemtazoo.github.io/ds/web-crawling-scraping/"
section: "ds"
---

## まず結論

- **Webクローリング**：リンクをたどりながらWebページを巡回・収集する
- **Webスクレイピング**：取得したページから必要なデータを抽出する

DS検定では、

> 巡回・収集ならクローリング、抽出・整形ならスクレイピング

と切り分けます。

ただし、実務では技術だけでなく、利用規約、著作権、個人情報、アクセス負荷への配慮も必要です。

## 直感的な説明

本屋を例にすると、

- 本を探して集める：クローリング
- 本の中から必要な箇所を書き出す：スクレイピング

という関係です。

実際の処理も、

1. URLを見つける
2. ページを取得する
3. HTMLを解析する
4. 商品名や価格を抜き出す

という流れになります。

1と2がクローリング寄り、3と4がスクレイピング寄りです。

## 定義・仕組み

### Webクローリング

Webページ内のリンクをたどり、複数ページを自動的に取得・保存します。

主な役割は次のとおりです。

- URLの発見
- ページの巡回
- HTMLなどの取得
- 再訪問の管理

検索エンジンのクローラーが代表例です。

### Webスクレイピング

取得したHTMLなどを解析し、必要な項目だけを抽出します。

例：

- 商品名
- 価格
- 投稿日
- 記事タイトル
- 表データ

抽出後はCSVやデータベースへ保存することもあります。

### API取得との違い

| 方法 | 特徴 |
|---|---|
| API | 提供者が決めた形式でデータを取得する |
| スクレイピング | 人向けページから必要情報を抽出する |

APIが提供されている場合は、一般にAPIの方が構造が安定し、利用条件も明確です。

### 静的ページと動的ページ

- 静的ページ：取得したHTMLに必要情報が含まれる
- 動的ページ：JavaScript実行後にデータが表示される

動的ページでは、単純なHTTP取得だけでは情報が得られず、ブラウザ操作や通信内容の確認が必要になる場合があります。

## どんな場面で使う？

- 競合価格の調査
- ニュース記事の収集
- 市場動向の把握
- 公開情報の定期確認
- 検索エンジンのインデックス作成

実務では、次の順で取得方法を検討します。

1. 公式APIがあるか
2. ダウンロード用データがあるか
3. スクレイピングが許可・許容されるか
4. 必要最小限の頻度で取得できるか

## よくある誤解・混同

### クローリング＝データ抽出

誤りです。クローリングは主にページの発見・巡回・取得です。

### スクレイピング＝ページのダウンロード

誤りです。スクレイピングの中心はページ内から必要項目を抽出することです。

### robots.txtで許可されていれば何をしてもよい

誤りです。robots.txtはクローラーへの巡回方針を示す仕組みであり、法的な許可や利用規約への同意そのものではありません。

### 公開ページなら自由に大量取得できる

誤りです。

- 利用規約
- 著作権
- 個人情報
- データベース権などの権利
- サーバー負荷

を確認する必要があります。

### アクセス頻度は高いほどよい

誤りです。短時間に大量アクセスすると相手サーバーへ負荷をかけます。

実務では、

- 待ち時間を入れる
- 必要なページだけ取得する
- キャッシュを使う
- 更新時だけ再取得する
- User-Agentを適切に設定する

といった配慮を行います。

### ブラウザ自動操作＝スクレイピング

ブラウザ自動操作は取得手段の一つです。クリックやJavaScript実行でページを表示し、その後データを抽出する場合があります。

## まとめ（試験直前用）

- クローリングはページを巡回・収集する
- スクレイピングはページ内データを抽出する
- APIは提供者が用意した構造化された取得口
- robots.txtは法的許可そのものではない
- 利用規約、権利、個人情報、サーバー負荷を確認する
- 動的ページではブラウザ操作が必要な場合がある
- 「巡回」と「抽出」で選択肢を切る

## 対応スキル項目（データエンジニアリング力シート）

- データ収集
- データ取得
- データソースに応じて適切な取得方法を選ぶ
- 法務・倫理・負荷へ配慮してデータを収集する