IT用語帳
PD-Sデータベース · データベース応用

Apache Hadoop

Apache Hadoop

あぱっちはどぅーぷ

大量のデータを多数の汎用サーバで分散して保存・処理するための、オープンソースのソフトウェア基盤。分散ファイルシステムのHDFS、資源管理のYARN、並列処理のMapReduceを中心に構成され、サーバを追加して処理能力と容量を拡張できる。MapReduceは中間結果をディスクに書くため、反復の多い処理ではメモリ上で処理するApache Sparkが使われることが多い。

共有:

Related

他の資格での定義

Past Exams

過去問での出題

過去問で 3 回出題(応用情報技術者試験 2・基本情報技術者試験 1)。うち 2 回は用語そのものを問う問題です。

出典: 独立行政法人情報処理推進機構(IPA)の過去問題。問題文は IPA のサイトの PDF で確認できます。「用語を問う問題」は、この用語の説明や特徴そのものを問う問題です。「選択肢」は、問題文ではなく選択肢に出たものです。用語名で照合しているため、関係の薄い問題が含まれることがあります。

Related

関連キーワードの用語

PD-SSCA(ソフトウェア構成分析)

アプリケーションが使用するオープンソースライブラリやサードパーティコンポーネントの脆弱性やライセンス違反を検出する分析手法。SBOMと連携し、既知の脆弱性データベース(NVDなど)と照合して、使用しているコンポーネントのリスクを評価する。

PD-SXen

ハードウェア上で直接動作するハイパーバイザ型の、オープンソースの仮想化ソフトウェア。最初に起動する管理用の仮想マシン(Dom0)が他の仮想マシンやデバイスを管理する構造をとる。ゲストOSを仮想化向けに改変して性能を高める準仮想化と、改変せずに動かす完全仮想化の両方に対応する。

PD-SKVM(Kernel-based Virtual Machine)

Linuxカーネルに組み込まれた仮想化の機能で、Linux自体をハイパーバイザとして動作させ、その上で複数の仮想マシンを実行するオープンソースの技術。CPUの仮想化支援機能を利用し、各仮想マシンはLinuxの1つのプロセスとして管理される。OpenStackなどのクラウド基盤で広く使われている。

PD-SCeph

多数の汎用サーバのディスクをまとめて1つの大規模なストレージとして提供する、オープンソースの分散ストレージソフトウェア。同じ基盤でオブジェクトストレージ、ブロックストレージ、ファイルシステムの3種類のアクセス方法を提供する。データの格納先を計算で決める仕組み(CRUSH)により、中央の管理サーバに頼らずに容量を拡張できる。

PD-SOpenStack

自社のデータセンターなどに、IaaS型のクラウド環境を構築するためのオープンソースのソフトウェア群。仮想マシンを管理するNova、ネットワークのNeutron、ブロックストレージのCinder、オブジェクトストレージのSwift、認証のKeystoneなどのコンポーネントを組み合わせ、利用者がAPIや画面から資源を必要に応じて作成できるようにする。

PD-S分散ファイルシステム

ネットワークで結ばれた複数のサーバの記憶装置をまとめ、利用者からは1つのファイルシステムとして見えるようにする仕組み。データを分割・複製して各サーバに置くので、サーバの追加で容量と性能を拡張でき、一部のサーバが故障してもデータを失わない。HDFS、Ceph、GlusterFSなどがある。