Apache Spark
Apache Spark
あぱっちすぱーく
大規模データの高速分散処理を実現するオープンソースフレームワーク。Hadoopと異なりインメモリ処理を中心とし、バッチ処理、ストリーム処理、機械学習、グラフ処理を統合的に実行できる。Spark SQLでSQL風の問合せも可能。
Related
他の資格での定義
大規模データを、クラスタのメモリ上で分散処理するオープンソースのフレームワーク。処理全体を有向非巡回グラフ(DAG)として最適化して実行し、中間結果をメモリに保持するので、機械学習の反復計算や対話的な分析をMapReduceより高速に行える。SQLで問い合わせるSpark SQL、機械学習のMLlib、ストリーム処理の機能を持ち、HDFSやクラウドのオブジェクトストレージのデータを処理できる。
大規模データの高速分散処理を実現するオープンソースフレームワーク。Hadoopと異なりインメモリ処理を中心とし、バッチ処理、ストリーム処理、機械学習、グラフ処理を統合的に実行できる。Spark SQLでSQL風の問合せも可能。
Past Exams
過去問での出題
過去問で 2 回出題(基本情報技術者試験 1・データベーススペシャリスト試験 1)。うち 1 回は用語そのものを問う問題です。
出典: 独立行政法人情報処理推進機構(IPA)の過去問題。問題文は IPA のサイトの PDF で確認できます。「用語を問う問題」は、この用語の説明や特徴そのものを問う問題です。「選択肢」は、問題文ではなく選択肢に出たものです。用語名で照合しているため、関係の薄い問題が含まれることがあります。
Related
関連キーワードの用語
大規模データの分散処理を実現するオープンソースフレームワーク。分散ファイルシステム(HDFS)とMapReduceによる並列処理を中核とする。コモディティサーバで構成でき、スケールアウトが容易。
分散データベースにおいて、複数のサイトでトランザクションの整合性を保証するためのプロトコル。投票フェーズと決定フェーズの2段階で全サイトの合意を得る。
複数のサーバやストレージにまたがってファイルを分散配置し、利用者からは単一のファイルシステムとしてアクセスできるようにする仕組み。大量データの処理や可用性の向上に活用される。
ネットワーク上の別のコンピュータにある手続を、あたかも自分の中の手続のように呼び出す仕組み。通信の詳細が隠されるため、分散システムのプログラムを簡潔に書ける。
OMGが策定した、分散環境でオブジェクトどうしを連携させるための標準仕様。言語やOSが違っても相互に呼び出せる。仕様が複雑なため、現在はWeb APIなど簡易な方式に置き換わっている。
複数のコンピュータに分けて配置しながら、利用者からは1つのデータベースに見えるように構成したもの。負荷分散と可用性の向上が図れるが、更新の整合性を保つ制御が難しくなる。
