分散処理フレームワーク

大量のデータの処理を多数のサーバに分けて並列に実行するためのソフトウェア基盤。処理の分割と割当て、ノード間のデータの受渡し、故障したノードの処理のやり直しを基盤側が受け持つので、利用者は処理の内容の記述に集中できる。MapReduceを中核とするApache Hadoopと、メモリ上で処理するApache Sparkが代表的である。

大量のデータを多数のサーバに分散して並列に処理するためのソフトウェア基盤。データの分割と配置、処理の割当て、障害時の再実行などを自動で行い、開発者は処理の内容を記述するだけで済む。Apache Hadoop（MapReduce）やApache Sparkが代表的。

1つの命令で複数のデータに対して同一の演算を同時に行う並列処理方式。ベクトル演算やマルチメディア処理に適する。SSEやAVXがx86プロセッサにおけるSIMD命令セットの代表例。フリンの分類による並列処理の一形態。

Apache Hadoopの分散ファイルシステム。大きなファイルを一定の大きさのブロックに分割し、各ブロックを複数のサーバ（データノード）に複製して保存する。ファイルとブロックの対応はネームノードが管理する。大きなファイルを先頭から順に読む処理に向き、小さなファイルが多数ある用途やファイルの一部の書換えには向かない。

Hadoop上の大量のデータに対して、SQLに似た言語（HiveQL）で問合せを行えるようにするデータウェアハウスのソフトウェア。問合せを分散処理のジョブに変換して実行するため、大量のデータの一括集計に向くが、応答は速くない。

フリンの分類における1命令1データ方式。1つの命令で1つのデータを処理する逐次処理型のアーキテクチャ。従来の単一プロセッサによる処理方式。

並列化による高速化の限界を示す法則。プロセッサをいくら増やしても、全体の性能向上は並列化できない部分の割合に頭打ちにされる。並列化率が9割でも、最大10倍までしか速くならない。

複数のプロセッサが1つの主記憶を共有し、1つのOSが全体を制御する構成。プロセッサ間のデータ受渡しが速いが、共有メモリへのアクセスが集中するためプロセッサ数を増やしても性能が伸びにくい。