PD-Sデータベース · データベース応用

Apache Spark

あぱっちすぱーく

大規模データの高速分散処理を実現するオープンソースフレームワーク。Hadoopと異なりインメモリ処理を中心とし、バッチ処理、ストリーム処理、機械学習、グラフ処理を統合的に実行できる。Spark SQLでSQL風の問合せも可能。

共有:

他の資格での定義

大規模データを、クラスタのメモリ上で分散処理するオープンソースのフレームワーク。処理全体を有向非巡回グラフ（DAG）として最適化して実行し、中間結果をメモリに保持するので、機械学習の反復計算や対話的な分析をMapReduceより高速に行える。SQLで問い合わせるSpark SQL、機械学習のMLlib、ストリーム処理の機能を持ち、HDFSやクラウドのオブジェクトストレージのデータを処理できる。

Past Exams

過去問での出題

過去問で 2 回出題（基本情報技術者試験 1・データベーススペシャリスト試験 1）。うち 1 回は用語そのものを問う問題です。

出典: 独立行政法人情報処理推進機構（IPA）の過去問題。問題文は IPA のサイトの PDF で確認できます。「用語を問う問題」は、この用語の説明や特徴そのものを問う問題です。「選択肢」は、問題文ではなく選択肢に出たものです。用語名で照合しているため、関係の薄い問題が含まれることがあります。

関連キーワードの用語

PD-Sフォグコンピューティング

エッジデバイスとクラウドの間に位置する中間層で分散処理を行うコンピューティングモデル。ゲートウェイやローカルサーバでデータの集約、分析、制御を行い、クラウドの負荷を軽減する。OpenFog Consortiumが提唱した概念。

PD-S2相コミットメント

分散データベースでトランザクションの原子性を保証するプロトコル。第1相（準備フェーズ）で全サイトにコミット可否を問い合わせ、全サイトが準備完了した場合のみ第2相（コミットフェーズ）でコミットを実行する。1つでも失敗すれば全体をロールバックする。

PD-SCAP定理

分散データベースシステムにおいて、一貫性（Consistency）、可用性（Availability）、分断耐性（Partition Tolerance）の3つの特性を同時にすべて満たすことは不可能であるという定理。システム設計時に、どの2つを優先するかのトレードオフの判断に用いられる。

PD-Sエッジコンピューティング

データが発生する端末やその近くに置いたサーバでデータを処理する方式。すべてのデータをクラウドに送らずに現場側で処理することで、通信の遅延を減らしてリアルタイムの制御に対応でき、通信量やクラウドの負荷も抑えられる。機密データを外部に出さずに済む利点もあり、クラウドと処理を分担して使う。

PD-S分散アーキテクチャ

処理やデータを、ネットワークで結んだ複数のコンピュータに分散させるシステムの構成。負荷を分散して性能を拡張しやすく、一部の障害が全体に波及しにくいが、データの整合性の確保や運用管理が複雑になる。機能の分担の仕方により、水平分散と垂直分散に分けられる。

SG分散ファイルシステム

複数のサーバやストレージにまたがってファイルを分散配置し、利用者からは単一のファイルシステムとしてアクセスできるようにする仕組み。大量データの処理や可用性の向上に活用される。