分散ファイルシステム

複数のサーバやストレージにまたがってファイルを分散配置し、利用者からは単一のファイルシステムとしてアクセスできるようにする仕組み。大量データの処理や可用性の向上に活用される。

複数のサーバのディスクをまとめ、1つのファイルシステムとして扱えるようにした仕組み。データを分割・複製して保持するため大容量と耐障害性を両立でき、ビッグデータ処理基盤の土台になる。

ネットワークで結ばれた複数のサーバの記憶装置をまとめ、利用者からは1つのファイルシステムとして見えるようにする仕組み。データを分割・複製して各サーバに置くので、サーバの追加で容量と性能を拡張でき、一部のサーバが故障してもデータを失わない。HDFS、Ceph、GlusterFSなどがある。

ネットワークで結ばれた複数のサーバの記憶装置をまとめ、利用者からは1つのファイルシステムとして見えるようにする仕組み。データを分割・複製して各サーバに置くので、サーバの追加で容量と性能を拡張でき、一部のサーバが故障してもデータを失わない。HDFS、Ceph、GlusterFSなどがある。

ネットワークで結ばれた複数のサーバの記憶装置をまとめ、利用者からは1つのファイルシステムとして扱えるようにする仕組み。ファイルを分割・複製して複数のサーバに格納するため、大容量化と耐障害性を両立できる。ビッグデータ処理の基盤であるHDFSなどが代表例。

一意のキーと、それに対応する値の組だけでデータを管理するNoSQLデータベース。キーを指定した読み書きに機能を絞ることで、高速な応答と、サーバを増やして処理能力を上げるスケールアウトを実現する。値の中身による検索や複雑な問合せには向かず、セッション情報やキャッシュの保存に使われる（Redis、Amazon DynamoDBなど）。

1つのデータベースのデータを、シャードキー（顧客IDなど）の値の範囲やハッシュ値で複数のサーバ（シャード）に水平分割して格納すること。書込みも含めて処理をサーバ間に分散でき、サーバを増やして性能と容量を伸ばせる。複数のシャードにまたがる結合やトランザクションは難しくなり、データの偏り（ホットスポット）やシャードの追加時の再配置にも対処が要る。

大規模データを、汎用的なサーバを多数並べたクラスタで分散処理するためのオープンソースのフレームワーク。分散ファイルシステムのHDFS、処理を分割して並列に実行するMapReduce、クラスタの資源を管理するYARNからなり、データを持つノードで処理を実行して転送を減らす（データローカリティ）。中間結果をディスクに書くため、繰返しの多い処理ではApache Sparkが使われることが多い。

複数のサーバの記憶領域（ブリック）を束ねて1つのボリュームとして提供する、オープンソースのスケールアウト型の分散ファイルシステム。メタデータを管理する専用のサーバを置かず、ファイル名から格納先をハッシュで決めるため、サーバを足すだけで容量と性能を伸ばせる。ボリュームは分散・複製などの方式を選べ、FUSE、NFS、SMBでクライアントから利用できる。

将来の業務量や利用者数の変化を予測し、システムに求められる性能を満たすために必要なCPU、メモリ、ストレージ、回線などの資源の量を見積もって計画すること。現状の資源の使用状況を監視して傾向を把握し、サイジングやスケールアウト・スケールアップの判断に生かす。

同じ機能を持つ対等な複数のコンピュータに処理を振り分けて、負荷を分散させる分散システムの構成。ロードバランサで要求を各サーバに割り当てる構成が代表例で、サーバの台数を増やせば処理能力を拡張でき（スケールアウト）、一部のサーバが故障しても処理を継続できる。