分散処理フレームワーク

大量のデータを多数のサーバに分散して並列に処理するためのソフトウェア基盤。データの分割と配置、処理の割当て、障害時の再実行などを自動で行い、開発者は処理の内容を記述するだけで済む。Apache Hadoop（MapReduce）やApache Sparkが代表的。

大量のデータを多数のサーバに分散して並列に処理するためのソフトウェア基盤。データの分割と配置、処理の割当て、障害時の再実行などを自動で行い、開発者は処理の内容を記述するだけで済む。Apache Hadoop（MapReduce）やApache Sparkが代表的。

それぞれが専用のプロセッサ、メモリ、ストレージを持つ多数のノードにデータを分散して配置し、1つの問合せを各ノードで並列に実行する処理方式。ノードを追加すれば処理能力をほぼ比例して高められ、大規模なDWHの集計処理に使われる。データの分散のさせ方が偏ると、特定のノードに処理が集中して性能が落ちる。

大規模データを、汎用的なサーバを多数並べたクラスタで分散処理するためのオープンソースのフレームワーク。分散ファイルシステムのHDFS、処理を分割して並列に実行するMapReduce、クラスタの資源を管理するYARNからなり、データを持つノードで処理を実行して転送を減らす（データローカリティ）。中間結果をディスクに書くため、繰返しの多い処理ではApache Sparkが使われることが多い。

Apache Hadoopの分散ファイルシステム。ファイルを大きなブロック（標準128Mバイト）に分割し、各ブロックを複数のデータノードに複製（標準3つ）して格納し、どのブロックがどこにあるかというメタデータはネームノードが管理する。大きなファイルを一度書いて何度も順次読む用途で高いスループットが出るよう設計されており、小さいファイルの大量格納や低遅延のランダムアクセスには向かない。

Hadoop上の大規模データを、SQLに似た言語のHiveQLで問い合わせるためのデータウェアハウス用のソフトウェア。HiveQLの問合せはMapReduce、Tez、Sparkの分散処理に変換して実行され、表の定義と格納場所を管理するHiveメタストアはSparkやPresto（Trino）など他の処理エンジンからも共通に使われる。大量データのバッチ処理に向き、対話的な問合せには応答が遅い。

複数の大規模言語モデルの呼出しを同時に実行し、結果をプログラムで集約するAIエージェントのワークフロー。独立した部分作業に分けて並行させるセクショニングと、同じ作業を複数回実行して多数決などで結論を出す投票（ボーティング）がある。処理時間を短くでき、観点を分けて考えさせたり複数の結果で確信度を上げたりできる。

フリンの分類における1命令1データ方式。1つの命令で1つのデータを処理する逐次処理型のアーキテクチャ。従来の単一プロセッサによる処理方式。