分散ファイルシステム

複数のサーバやストレージにまたがってファイルを分散配置し、利用者からは単一のファイルシステムとしてアクセスできるようにする仕組み。大量データの処理や可用性の向上に活用される。

複数のサーバのディスクをまとめ、1つのファイルシステムとして扱えるようにした仕組み。データを分割・複製して保持するため大容量と耐障害性を両立でき、ビッグデータ処理基盤の土台になる。

ネットワークで結ばれた複数のサーバの記憶装置をまとめ、利用者からは1つのファイルシステムとして見えるようにする仕組み。データを分割・複製して各サーバに置くので、サーバの追加で容量と性能を拡張でき、一部のサーバが故障してもデータを失わない。HDFS、Ceph、GlusterFSなどがある。

ネットワークでつながった複数のサーバの記憶装置をまとめ、利用者には1つのファイルシステムとして見せる仕組み。ファイルを分割・複製して複数のサーバに置くので、容量と読み書きの性能をサーバの追加で伸ばせ、一部のサーバが故障してもデータを失わない。HDFS、Ceph、GlusterFSなどがあり、大規模データの分析基盤に使われる。

ネットワークで結ばれた複数のサーバの記憶装置をまとめ、利用者からは1つのファイルシステムとして扱えるようにする仕組み。ファイルを分割・複製して複数のサーバに格納するため、大容量化と耐障害性を両立できる。ビッグデータ処理の基盤であるHDFSなどが代表例。

大量のデータを多数の汎用サーバで分散して保存・処理するための、オープンソースのソフトウェア基盤。分散ファイルシステムのHDFS、資源管理のYARN、並列処理のMapReduceを中心に構成され、サーバを追加して処理能力と容量を拡張できる。MapReduceは中間結果をディスクに書くため、反復の多い処理ではメモリ上で処理するApache Sparkが使われることが多い。