Apache Hadoop
Apache Hadoop
あぱっちはどぅーぷ
大量のデータを多数の汎用サーバで分散して保存・処理するための、オープンソースのソフトウェア基盤。分散ファイルシステムのHDFS、資源管理のYARN、並列処理のMapReduceを中心に構成され、サーバを追加して処理能力と容量を拡張できる。MapReduceは中間結果をディスクに書くため、反復の多い処理ではメモリ上で処理するApache Sparkが使われることが多い。
Related
他の資格での定義
大量のデータを、多数の汎用サーバを並べたクラスタで分散して保存・処理するためのオープンソースのフレームワーク。分散ファイルシステムのHDFSと、処理を分割して各サーバで並列に実行するMapReduceを中核とし、ビッグデータの処理に用いる。
大規模データの分散処理を実現するオープンソースフレームワーク。分散ファイルシステム(HDFS)とMapReduceによる並列処理を中核とする。コモディティサーバで構成でき、スケールアウトが容易。
大規模データを、汎用的なサーバを多数並べたクラスタで分散処理するためのオープンソースのフレームワーク。分散ファイルシステムのHDFS、処理を分割して並列に実行するMapReduce、クラスタの資源を管理するYARNからなり、データを持つノードで処理を実行して転送を減らす(データローカリティ)。中間結果をディスクに書くため、繰返しの多い処理ではApache Sparkが使われることが多い。
Past Exams
過去問での出題
過去問で 3 回出題(応用情報技術者試験 2・基本情報技術者試験 1)。うち 2 回は用語そのものを問う問題です。
出典: 独立行政法人情報処理推進機構(IPA)の過去問題。問題文は IPA のサイトの PDF で確認できます。「用語を問う問題」は、この用語の説明や特徴そのものを問う問題です。「選択肢」は、問題文ではなく選択肢に出たものです。用語名で照合しているため、関係の薄い問題が含まれることがあります。
Related
関連キーワードの用語
アプリケーションが使用するオープンソースライブラリやサードパーティコンポーネントの脆弱性やライセンス違反を検出する分析手法。SBOMと連携し、既知の脆弱性データベース(NVDなど)と照合して、使用しているコンポーネントのリスクを評価する。
ハードウェア上で直接動作するハイパーバイザ型の、オープンソースの仮想化ソフトウェア。最初に起動する管理用の仮想マシン(Dom0)が他の仮想マシンやデバイスを管理する構造をとる。ゲストOSを仮想化向けに改変して性能を高める準仮想化と、改変せずに動かす完全仮想化の両方に対応する。
Linuxカーネルに組み込まれた仮想化の機能で、Linux自体をハイパーバイザとして動作させ、その上で複数の仮想マシンを実行するオープンソースの技術。CPUの仮想化支援機能を利用し、各仮想マシンはLinuxの1つのプロセスとして管理される。OpenStackなどのクラウド基盤で広く使われている。
多数の汎用サーバのディスクをまとめて1つの大規模なストレージとして提供する、オープンソースの分散ストレージソフトウェア。同じ基盤でオブジェクトストレージ、ブロックストレージ、ファイルシステムの3種類のアクセス方法を提供する。データの格納先を計算で決める仕組み(CRUSH)により、中央の管理サーバに頼らずに容量を拡張できる。
自社のデータセンターなどに、IaaS型のクラウド環境を構築するためのオープンソースのソフトウェア群。仮想マシンを管理するNova、ネットワークのNeutron、ブロックストレージのCinder、オブジェクトストレージのSwift、認証のKeystoneなどのコンポーネントを組み合わせ、利用者がAPIや画面から資源を必要に応じて作成できるようにする。
ネットワークで結ばれた複数のサーバの記憶装置をまとめ、利用者からは1つのファイルシステムとして見えるようにする仕組み。データを分割・複製して各サーバに置くので、サーバの追加で容量と性能を拡張でき、一部のサーバが故障してもデータを失わない。HDFS、Ceph、GlusterFSなどがある。
