Hadoop
Apache Hadoop
はどぅーぷ
大規模データの分散処理を実現するオープンソースフレームワーク。分散ファイルシステム(HDFS)とMapReduceによる並列処理を中核とする。コモディティサーバで構成でき、スケールアウトが容易。
Related
他の資格での定義
大量のデータを、多数の汎用サーバを並べたクラスタで分散して保存・処理するためのオープンソースのフレームワーク。分散ファイルシステムのHDFSと、処理を分割して各サーバで並列に実行するMapReduceを中核とし、ビッグデータの処理に用いる。
大規模データを、汎用的なサーバを多数並べたクラスタで分散処理するためのオープンソースのフレームワーク。分散ファイルシステムのHDFS、処理を分割して並列に実行するMapReduce、クラスタの資源を管理するYARNからなり、データを持つノードで処理を実行して転送を減らす(データローカリティ)。中間結果をディスクに書くため、繰返しの多い処理ではApache Sparkが使われることが多い。
大量のデータを多数の汎用サーバで分散して保存・処理するための、オープンソースのソフトウェア基盤。分散ファイルシステムのHDFS、資源管理のYARN、並列処理のMapReduceを中心に構成され、サーバを追加して処理能力と容量を拡張できる。MapReduceは中間結果をディスクに書くため、反復の多い処理ではメモリ上で処理するApache Sparkが使われることが多い。
Past Exams
過去問での出題
過去問で 3 回出題(応用情報技術者試験 2・基本情報技術者試験 1)。うち 2 回は用語そのものを問う問題です。
出典: 独立行政法人情報処理推進機構(IPA)の過去問題。問題文は IPA のサイトの PDF で確認できます。「用語を問う問題」は、この用語の説明や特徴そのものを問う問題です。「選択肢」は、問題文ではなく選択肢に出たものです。用語名で照合しているため、関係の薄い問題が含まれることがあります。
Related
関連キーワードの用語
関係モデルにおいて、属性がとりうる値の集合。例えば「年齢」属性のドメインは正の整数、「性別」属性のドメインは{'男','女'}など。SQLではCHECK制約やデータ型で制限を実現する。
関係モデルに対する操作を数学的に定義した代数体系。選択、射影、結合、和、差、直積、商などの演算からなる。SQLの理論的基盤であり、問合せ最適化の基礎となる。
関係代数の基本演算の1つで、リレーションから指定した条件を満たすタプルを取り出す操作。SQLのWHERE句に対応する。記号σ(シグマ)で表される。
関係代数の基本演算の1つで、リレーションから指定した属性のみを取り出す操作。重複するタプルは除去される。SQLのSELECT句の列指定に対応する。記号π(パイ)で表される。
関係代数の演算で、2つのリレーションを共通の属性値に基づいて結合する操作。自然結合、等結合、θ結合などの種類がある。SQLのJOIN句に対応する。
関係代数の演算で、2つのリレーションの全タプルの組合せを生成する操作。結果のタプル数は両リレーションのタプル数の積となる。SQLのCROSS JOINに対応する。
