最終更新日:2026年9月20日
ds data-storage data-processing
まず結論
HDFS(Hadoop Distributed File System)は、大量データを複数のサーバに分散して保存する仕組みです。
DS検定では、「分散保存」と「レプリケーションによる耐障害性」を押さえることが重要です。
直感的な説明
1台のサーバだけにデータを保存していると、そのサーバが故障したときに大きな影響を受けます。
HDFSでは、
- データをブロックに分ける
- 複数のサーバへ分散して保存する
- 同じブロックを複数台へ複製する
ことで、大量データを扱いやすくし、故障にも強くします。
分けて保存する + コピーを持つ
と考えるとイメージしやすいです。
定義・仕組み
① データをブロックに分割する
大きなファイルを一定サイズのブロックに分けます。
② 複数のデータノードへ分散保存する
各ブロックを複数のサーバへ配置します。
③ レプリケーションする
同じブロックを複数台に複製します。
例えばレプリケーション係数が3なら、同じブロックを3つ保持します。
1台が故障しても別のコピーから読み出せるため、耐障害性が高まります。
Apache Hadoopの公式「HDFS Architecture」でも、HDFSは大規模なデータセットを扱う分散ファイルシステムとして説明され、データのレプリケーションによって障害に対応する設計が示されています。
1次情報
DS検定では細かな設定値よりも、「ブロックに分割 → 複数ノードへ分散 → レプリケーションで耐障害性」という流れを押さえるのが重要です。
どんな場面で使う?
HDFSは、次のような大量データの保存に向いています。
- Webアクセスログ
- IoTデータ
- 大規模な履歴データ
- MapReduceなどの分散処理で使うデータ
一方で、HDFSの主目的は高速検索やトランザクション処理ではありません。
よくある誤解・混同
❌ HDFSとデータレイクは同じ
| 用語 | 役割 |
|---|---|
| HDFS | 分散保存を実現する技術 |
| データレイク | 多様なデータを蓄積する考え方・基盤概念 |
❌ 耐障害性を高めるのはインデックス
HDFSで耐障害性を高める直接的な仕組みはレプリケーションです。
❌ HDFSとRDBは同じ用途
| 技術 | 得意なこと |
|---|---|
| HDFS | 大量データの分散保存 |
| RDB | 構造化データの整合性・トランザクション管理 |
「ACID」「トランザクション」「頻繁な更新」が中心ならRDB寄りです。
まとめ(試験直前用)
- HDFS = 分散ファイルシステム
- 大量データを複数サーバへ分散保存する
- 耐障害性 = レプリケーション
- データレイクは概念、HDFSは保存技術
- RDBは整合性・トランザクションが得意
DS検定では、「壊れてもデータを残す仕組み」→ レプリケーションと判断できるようにしておきましょう。
対応スキル項目(ver.6 データエンジニアリング)
- 分類:データエンジニアリング
- スキルカテゴリ:データ蓄積
- サブカテゴリ:分散技術
- 必須スキル:—
- ★ HadoopやSparkの分散技術の基本的な仕組みと構成を理解している
- ver.6 ★1スキルチェックで確認する