最終更新日:2026年9月20日
ds data-storage data-processing
まず結論
MapReduceとは、大量データを「分けて処理し、あとでまとめる」分散処理の仕組みです。
DS検定では「分散処理の流れを理解しているか」を判断させる問題で問われます。
直感的な説明
1億件のデータを1人で集計するのは大変です。
でも、
- 100人で分担して集計する
- 最後に結果を合計する
これなら速いですよね。
MapReduceはこの考え方です。
- Map:分けて処理する
- Reduce:まとめる
シンプルですが、ビッグデータ処理の基本モデルです。
DS検定では
「MapとReduceの役割を逆に書いた選択肢」がよく出ます。
定義・仕組み
MapReduceは、Hadoopで使われる分散処理モデルです。
処理の流れは3段階です。
① Map
データを分割し、それぞれのノードで処理する
例: 売上データから「商品ごとの売上」を抽出する
② Shuffle(内部処理)
同じキー(商品名など)をまとめる
③ Reduce
同じキーごとに集計する
例: 商品Aの売上を合計する
ポイントは、
- 分割して並列処理
- キー単位でまとめる
- 最終的に集約する
という流れです。
Apache Hadoopの公式「MapReduce Tutorial」では、入力を複数のまとまりに分けてMapタスクで並列処理し、出力をReduceタスクへ渡して結果をまとめる流れが説明されています。
1次情報
DS検定では実装の細部よりも、「Mapで分散処理し、Reduceで集約する」という役割分担を押さえましょう。
どんな場面で使う?
使う場面
- 大量ログの集計
- Webアクセス数のカウント
- 売上集計
- キーワード出現回数のカウント
「集計系処理」と相性が良いです。
向かない場面
- リアルタイム処理
- 複雑な反復計算(機械学習の学習処理など)
この点でSparkとの違いが出ます。
よくある誤解・混同
① MapとReduceの役割を逆にする問題
DS検定ではよく、
- Mapが集計する
- Reduceが分割する
という誤りを混ぜてきます。
正しくは:
- Map=分けて処理
- Reduce=まとめて集計
② Hadoopと同義と思ってしまう
Hadoopは基盤全体。
MapReduceはその中の「処理モデル」。
ここは切り分けておきましょう。
③ Sparkとの混同
Sparkも分散処理基盤ですが、処理モデルが異なります。
Hadoop MapReduceでは処理段階の間でストレージへの読み書きが発生しやすいのに対し、SparkはRDDなどのデータをメモリへ保持して再利用できます。
ただし、Spark=必ずメモリだけ、MapReduce=必ずディスクだけと覚えるのは単純化しすぎです。
DS検定では、「反復処理」「データを保持して再利用」「インメモリ」といった表現があればSpark寄り、と判断するのが安全です。
まとめ(試験直前用)
- MapReduceは分散処理モデル
- Map=分割して処理
- Reduce=まとめて集計
- 集計系処理と相性が良い
- Hadoopは基盤、MapReduceは処理方式
対応スキル項目(ver.6 データエンジニアリング)
- 分類:データエンジニアリング
- スキルカテゴリ:データ蓄積
- サブカテゴリ:分散技術
- 必須スキル:—
- ★ HadoopやSparkの分散技術の基本的な仕組みと構成を理解している
- ver.6 ★1スキルチェックで確認する
🔗 関連記事
- バッチ処理とストリーム処理の違いとは?リアルタイム性で切り分ける【DS検定】
- データレイクとは?(DWHとの違いも整理)【DS検定リテラシー】
- データトランスフォーメーションとは?(非構造化データの変換)【DS検定】
- DWHとデータマートの違い:全社・部門とBI・OLAPの関係【DS検定】
- データウェアハウス(DWH)とは?整理・統合とデータレイクの違い【DS検定】