Apache Hadoop
Apache Hadoop
あぱっちはどぅーぷ
大量のデータを、多数の汎用サーバを並べたクラスタで分散して保存・処理するためのオープンソースのフレームワーク。分散ファイルシステムのHDFSと、処理を分割して各サーバで並列に実行するMapReduceを中核とし、ビッグデータの処理に用いる。
Related
他の資格での定義
大規模データの分散処理を実現するオープンソースフレームワーク。分散ファイルシステム(HDFS)とMapReduceによる並列処理を中核とする。コモディティサーバで構成でき、スケールアウトが容易。
大規模データを、汎用的なサーバを多数並べたクラスタで分散処理するためのオープンソースのフレームワーク。分散ファイルシステムのHDFS、処理を分割して並列に実行するMapReduce、クラスタの資源を管理するYARNからなり、データを持つノードで処理を実行して転送を減らす(データローカリティ)。中間結果をディスクに書くため、繰返しの多い処理ではApache Sparkが使われることが多い。
大量のデータを多数の汎用サーバで分散して保存・処理するための、オープンソースのソフトウェア基盤。分散ファイルシステムのHDFS、資源管理のYARN、並列処理のMapReduceを中心に構成され、サーバを追加して処理能力と容量を拡張できる。MapReduceは中間結果をディスクに書くため、反復の多い処理ではメモリ上で処理するApache Sparkが使われることが多い。
Past Exams
過去問での出題
過去問で 3 回出題(応用情報技術者試験 2・基本情報技術者試験 1)。うち 2 回は用語そのものを問う問題です。
出典: 独立行政法人情報処理推進機構(IPA)の過去問題。問題文は IPA のサイトの PDF で確認できます。「用語を問う問題」は、この用語の説明や特徴そのものを問う問題です。「選択肢」は、問題文ではなく選択肢に出たものです。用語名で照合しているため、関係の薄い問題が含まれることがあります。
Related
関連キーワードの用語
ネットワークで結ばれた複数のサーバの記憶装置をまとめ、利用者からは1つのファイルシステムとして扱えるようにする仕組み。ファイルを分割・複製して複数のサーバに格納するため、大容量化と耐障害性を両立できる。ビッグデータ処理の基盤であるHDFSなどが代表例。
改変や再配布を認める代わりに、派生物にも同じライセンスの適用を義務づける考え方。GPLが代表例で、自社製品に組み込むとソースコードの公開義務が生じうるため、利用時の確認が欠かせない。
著作権表示と免責条項の保持だけを条件に、改変・再配布・商用利用を広く認めるライセンス。派生物へ同じ条件を課さない非コピーレフト型のため、独占的な製品への組込みが容易である。
非コピーレフト型のオープンソースライセンス。著作権表示と変更点の明示を求める一方、貢献者の特許について利用許諾を明文化しており、特許紛争のリスクを抑えたい企業での採用が多い。
同一のソフトウェアを、条件の異なる2種類のライセンスで提供する方式。コピーレフト型の無償版と、公開義務のない有償の商用版を併せて提供し、開発資金を得る事業モデルとして使われる。
分散データベースでトランザクションの原子性を保証するプロトコル。第1相(準備フェーズ)で全サイトにコミット可否を問い合わせ、全サイトが準備完了した場合のみ第2相(コミットフェーズ)でコミットを実行する。1つでも失敗すれば全体をロールバックする。
