大規模並列

それぞれが専用のプロセッサ、メモリ、ストレージを持つ多数のノードにデータを分散して配置し、1つの問合せを各ノードで並列に実行する処理方式。ノードを追加すれば処理能力をほぼ比例して高められ、大規模なDWHの集計処理に使われる。データの分散のさせ方が偏ると、特定のノードに処理が集中して性能が落ちる。

数百から数万の多数のプロセッサを結合し、処理を分割して同時に実行することで高い処理能力を得るコンピュータ。MPPと略す。各プロセッサが専用のメモリを持ち、プロセッサ間はネットワークでデータをやり取りする構成が多く、スーパーコンピュータや大規模なデータウェアハウスに使われる。

多数のプロセッサやGPUを高速なネットワークで結合し、大規模な計算を並列処理で高速に行う技術。気象予測、創薬、流体解析などの科学技術計算や、AIの大規模な学習に使われる。スーパーコンピュータが代表で、クラウドで利用する形態も広がっている。

並列処理システムの構成で、各サーバ（ノード）が専用のプロセッサ、メモリ、ディスクを持ち、資源を共有しないもの。データを分割して各ノードに配置し、それぞれが担当分を並列に処理する。資源の競合がないためノードの追加で処理能力をほぼ比例して高められるが、データの配置に偏りがあると特定のノードに負荷が集中する。

多数の演算コアで大量のデータを並列に処理するプロセッサ。本来は画像の描画処理用だが、行列演算が得意なため、深層学習の学習・推論や科学技術計算にも広く使われる（GPGPU）。生成AIの開発を支える主要な計算資源となっている。

同じ演算を行う多数の演算装置（プロセッシングエレメント）を配列状に並べ、1つの命令で複数のデータを一斉に処理するプロセッサ。フリンの分類のSIMDに当たり、行列演算や画像処理など同種の大量データを扱う計算に向く。

フリンの分類における1命令1データ方式。1つの命令で1つのデータを処理する逐次処理型のアーキテクチャ。従来の単一プロセッサによる処理方式。

フリンの分類における1命令多データ方式。1つの命令で複数のデータを同時に処理する並列処理アーキテクチャ。画像処理や科学技術計算で効果的。GPUの基本的な処理方式。