最終更新日：2026年8月16日
ds data-storage data-processing
DS検定トップ
＞ HDFS（Hadoop分散ファイルシステム）とは？【DS検定リテラシー】
まず結論
HDFS（Hadoop Distributed File System）は、大量データを複数のサーバに分散して保存する仕組みです。
DS検定では、「分散保存」と「レプリケーションによる耐障害性」を押さえることが重要です。
直感的な説明
1台のサーバだけにデータを保存していると、そのサーバが故障したときに大きな影響を受けます。
HDFSでは、
- データをブロックに分ける
- 複数のサーバへ分散して保存する
- 同じブロックを複数台へ複製する
ことで、大量データを扱いやすくし、故障にも強くします。
分けて保存する + コピーを持つ
と考えるとイメージしやすいです。
定義・仕組み
① データをブロックに分割する
大きなファイルを一定サイズのブロックに分けます。
② 複数のデータノードへ分散保存する
各ブロックを複数のサーバへ配置します。
③ レプリケーションする
同じブロックを複数台に複製します。
例えばレプリケーション係数が3なら、同じブロックを3つ保持します。
1台が故障しても別のコピーから読み出せるため、耐障害性が高まります。
どんな場面で使う？
HDFSは、次のような大量データの保存に向いています。
- Webアクセスログ
- IoTデータ
- 大規模な履歴データ
- MapReduceなどの分散処理で使うデータ
一方で、HDFSの主目的は高速検索やトランザクション処理ではありません。
よくある誤解・混同
❌ HDFSとデータレイクは同じ
| 用語 | 役割 |
|---|---|
| HDFS | 分散保存を実現する技術 |
| データレイク | 多様なデータを蓄積する考え方・基盤概念 |
❌ 耐障害性を高めるのはインデックス
HDFSで耐障害性を高める直接的な仕組みはレプリケーションです。
❌ HDFSとRDBは同じ用途
| 技術 | 得意なこと |
|---|---|
| HDFS | 大量データの分散保存 |
| RDB | 構造化データの整合性・トランザクション管理 |
「ACID」「トランザクション」「頻繁な更新」が中心ならRDB寄りです。
まとめ（試験直前用）
- HDFS = 分散ファイルシステム
- 大量データを複数サーバへ分散保存する
- 耐障害性 = レプリケーション
- データレイクは概念、HDFSは保存技術
- RDBは整合性・トランザクションが得意
DS検定では、「壊れてもデータを残す仕組み」→ レプリケーションと判断できるようにしておきましょう。
対応スキル項目（データエンジニアリング力シート）
- データ基盤
- 分散処理基盤
- ★ 分散処理基盤の基本的な仕組みを理解している
- ★ データの分散保存と冗長化の考え方を理解している
🔗 関連記事
- バッチ処理とストリーム処理の違いとは？リアルタイム性で切り分ける【DS検定】
- データレイクとは？（DWHとの違いも整理）【DS検定リテラシー】
- データトランスフォーメーションとは？（非構造化データの変換）【DS検定】
- データウェアハウス（DWH）とは？データマートとの違いを理解する【DS検定】
- データウェアハウス（DWH）とは？（データレイクとの違いも整理）【DS検定リテラシー】