IT用語帳
PD-Dデータベース · データベース応用

Apache Spark

Apache Spark

あぱっちすぱーく

大規模データを、クラスタのメモリ上で分散処理するオープンソースのフレームワーク。処理全体を有向非巡回グラフ（DAG）として最適化して実行し、中間結果をメモリに保持するので、機械学習の反復計算や対話的な分析をMapReduceより高速に行える。SQLで問い合わせるSpark SQL、機械学習のMLlib、ストリーム処理の機能を持ち、HDFSやクラウドのオブジェクトストレージのデータを処理できる。

#インメモリ処理#Spark SQL#MLlib#分散処理フレームワーク
共有:

Related

他の資格での定義

DBApache Spark

大規模データの高速分散処理を実現するオープンソースフレームワーク。Hadoopと異なりインメモリ処理を中心とし、バッチ処理、ストリーム処理、機械学習、グラフ処理を統合的に実行できる。Spark SQLでSQL風の問合せも可能。

PD-SApache Spark

大規模データの高速分散処理を実現するオープンソースフレームワーク。Hadoopと異なりインメモリ処理を中心とし、バッチ処理、ストリーム処理、機械学習、グラフ処理を統合的に実行できる。Spark SQLでSQL風の問合せも可能。

Past Exams

過去問での出題

過去問で 2 回出題（基本情報技術者試験 1・データベーススペシャリスト試験 1）。うち 1 回は用語そのものを問う問題です。

出典: 独立行政法人情報処理推進機構（IPA）の過去問題。問題文は IPA のサイトの PDF で確認できます。「用語を問う問題」は、この用語の説明や特徴そのものを問う問題です。「選択肢」は、問題文ではなく選択肢に出たものです。用語名で照合しているため、関係の薄い問題が含まれることがあります。

Related

関連キーワードの用語

PD-DApache Hadoop

大規模データを、汎用的なサーバを多数並べたクラスタで分散処理するためのオープンソースのフレームワーク。分散ファイルシステムのHDFS、処理を分割して並列に実行するMapReduce、クラスタの資源を管理するYARNからなり、データを持つノードで処理を実行して転送を減らす（データローカリティ）。中間結果をディスクに書くため、繰返しの多い処理ではApache Sparkが使われることが多い。