HDFS（Hadoop Distributed File System）

Apache Hadoopの分散ファイルシステム。大きなファイルを一定の大きさのブロックに分割し、各ブロックを複数のサーバ（データノード）に複製して保存する。ファイルとブロックの対応はネームノードが管理する。大きなファイルを先頭から順に読む処理に向き、小さなファイルが多数ある用途やファイルの一部の書換えには向かない。

Apache Hadoopの分散ファイルシステム。大きなファイルを一定の大きさのブロックに分割し、各ブロックを複数のサーバ（データノード）に複製して保存する。ファイルとブロックの対応はネームノードが管理する。大きなファイルを先頭から順に読む処理に向き、小さなファイルが多数ある用途やファイルの一部の書換えには向かない。

大量のデータの処理を多数のサーバに分けて並列に実行するためのソフトウェア基盤。処理の分割と割当て、ノード間のデータの受渡し、故障したノードの処理のやり直しを基盤側が受け持つので、利用者は処理の内容の記述に集中できる。MapReduceを中核とするApache Hadoopと、メモリ上で処理するApache Sparkが代表的である。

複数のサーバの記憶領域（ブリック）を束ねて1つのボリュームとして提供する、オープンソースのスケールアウト型の分散ファイルシステム。メタデータを管理する専用のサーバを置かず、ファイル名から格納先をハッシュで決めるため、サーバを足すだけで容量と性能を伸ばせる。ボリュームは分散・複製などの方式を選べ、FUSE、NFS、SMBでクライアントから利用できる。

Hadoop上の大規模データを、SQLに似た言語のHiveQLで問い合わせるためのデータウェアハウス用のソフトウェア。HiveQLの問合せはMapReduce、Tez、Sparkの分散処理に変換して実行され、表の定義と格納場所を管理するHiveメタストアはSparkやPresto（Trino）など他の処理エンジンからも共通に使われる。大量データのバッチ処理に向き、対話的な問合せには応答が遅い。

分散データベースや分散ファイルシステムで、サーバから取得したデータの複製をクライアントの側に一時的に保持しておく仕組み。同じデータへの再アクセスを手元で処理できるので、応答が速くなり、通信量とサーバの負荷も減る。サーバの側でデータが更新されたときに、複製との一貫性をどう保つかが課題となる。