分散ファイルシステム

複数のサーバやストレージにまたがってファイルを分散配置し、利用者からは単一のファイルシステムとしてアクセスできるようにする仕組み。大量データの処理や可用性の向上に活用される。

複数のサーバのディスクをまとめ、1つのファイルシステムとして扱えるようにした仕組み。データを分割・複製して保持するため大容量と耐障害性を両立でき、ビッグデータ処理基盤の土台になる。

ネットワークでつながった複数のサーバの記憶装置をまとめ、利用者には1つのファイルシステムとして見せる仕組み。ファイルを分割・複製して複数のサーバに置くので、容量と読み書きの性能をサーバの追加で伸ばせ、一部のサーバが故障してもデータを失わない。HDFS、Ceph、GlusterFSなどがあり、大規模データの分析基盤に使われる。

ネットワークで結ばれた複数のサーバの記憶装置をまとめ、利用者からは1つのファイルシステムとして見えるようにする仕組み。データを分割・複製して各サーバに置くので、サーバの追加で容量と性能を拡張でき、一部のサーバが故障してもデータを失わない。HDFS、Ceph、GlusterFSなどがある。

ネットワークで結ばれた複数のサーバの記憶装置をまとめ、利用者からは1つのファイルシステムとして扱えるようにする仕組み。ファイルを分割・複製して複数のサーバに格納するため、大容量化と耐障害性を両立できる。ビッグデータ処理の基盤であるHDFSなどが代表例。

大規模データを、汎用的なサーバを多数並べたクラスタで分散処理するためのオープンソースのフレームワーク。分散ファイルシステムのHDFS、処理を分割して並列に実行するMapReduce、クラスタの資源を管理するYARNからなり、データを持つノードで処理を実行して転送を減らす（データローカリティ）。中間結果をディスクに書くため、繰返しの多い処理ではApache Sparkが使われることが多い。