Apache Hadoop

大量のデータを、多数の汎用サーバを並べたクラスタで分散して保存・処理するためのオープンソースのフレームワーク。分散ファイルシステムのHDFSと、処理を分割して各サーバで並列に実行するMapReduceを中核とし、ビッグデータの処理に用いる。

大規模データの分散処理を実現するオープンソースフレームワーク。分散ファイルシステム（HDFS）とMapReduceによる並列処理を中核とする。コモディティサーバで構成でき、スケールアウトが容易。

大量のデータを多数の汎用サーバで分散して保存・処理するための、オープンソースのソフトウェア基盤。分散ファイルシステムのHDFS、資源管理のYARN、並列処理のMapReduceを中心に構成され、サーバを追加して処理能力と容量を拡張できる。MapReduceは中間結果をディスクに書くため、反復の多い処理ではメモリ上で処理するApache Sparkが使われることが多い。

ネットワークでつながった複数のサーバの記憶装置をまとめ、利用者には1つのファイルシステムとして見せる仕組み。ファイルを分割・複製して複数のサーバに置くので、容量と読み書きの性能をサーバの追加で伸ばせ、一部のサーバが故障してもデータを失わない。HDFS、Ceph、GlusterFSなどがあり、大規模データの分析基盤に使われる。

大量のデータの処理を多数のサーバに分けて並列に実行するためのソフトウェア基盤。処理の分割と割当て、ノード間のデータの受渡し、故障したノードの処理のやり直しを基盤側が受け持つので、利用者は処理の内容の記述に集中できる。MapReduceを中核とするApache Hadoopと、メモリ上で処理するApache Sparkが代表的である。

大規模データを、クラスタのメモリ上で分散処理するオープンソースのフレームワーク。処理全体を有向非巡回グラフ（DAG）として最適化して実行し、中間結果をメモリに保持するので、機械学習の反復計算や対話的な分析をMapReduceより高速に行える。SQLで問い合わせるSpark SQL、機械学習のMLlib、ストリーム処理の機能を持ち、HDFSやクラウドのオブジェクトストレージのデータを処理できる。