IT用語帳
PD-DNewデータ分析・データ利活用 · データ基盤

MPP(大規模並列処理)

Massively Parallel Processing

えむぴーぴー

それぞれが専用のプロセッサ、メモリ、ストレージを持つ多数のノードにデータを分散して配置し、1つの問合せを各ノードで並列に実行する処理方式。ノードを追加すれば処理能力をほぼ比例して高められ、大規模なDWHの集計処理に使われる。データの分散のさせ方が偏ると、特定のノードに処理が集中して性能が落ちる。

共有:

Related

他の資格での定義

Related

関連キーワードの用語

PD-Sシェアードエブリシング

並列処理システムの構成で、複数のサーバ(ノード)がディスクなどの資源を共有し、どのノードからもすべてのデータにアクセスできるもの。どのノードも全データを処理できるので負荷が偏りにくく、ノードが故障しても処理を引き継ぎやすいが、共有資源へのアクセスの調整が性能拡張の制約になる。共有ディスク型のデータベースクラスタが例。

PD-Dデータウェアハウス(DWH)

複数の業務システムのデータを、分析しやすいように主題別に統合・整理して時系列で蓄積するデータベース。履歴を保持し、原則として更新せずに追記していく点が業務システムのデータベースと異なる。スキーマオンライトで事前に構造を定めるため、品質の揃ったデータを全社で横断的に集計・分析するのに向く。

PD-Dデータマート

DWHのデータから、特定の部門や用途に必要なものだけを抽出・集計して切り出した小規模なデータベース。利用者が扱うデータを絞り、目的に合わせた形に整えておくため、BIツールでの集計や定型レポートを高速に行える。

PD-Dレイクハウス

データレイクの安価なオブジェクトストレージの上に、DWHが持つトランザクション管理(ACID特性)、スキーマの管理、高速な検索などの機能を加えたデータ基盤のアーキテクチャ。Delta Lake、Apache Icebergなどのオープンなテーブル形式を使い、1つの基盤でBIの集計と機械学習の両方に同じデータを使えるようにする。

PD-Dスタースキーマ

DWHの代表的なデータモデルで、売上金額などの数値を持つファクトテーブルを中心に置き、日付・商品・顧客などの分析軸を表すディメンションテーブルを周囲に配置した星形の構造。ディメンションテーブルを非正規化しておくため結合が少なく、集計の問合せが単純で高速になる。

PD-Dスノーフレークスキーマ

スタースキーマのディメンションテーブルを正規化し、商品→商品分類→大分類のように階層ごとの表に分割した構造。データの重複が減り、マスタの更新や整合性の維持がしやすい反面、問合せで結合する表が増えて、集計の性能や分かりやすさはスタースキーマに劣る。