Apache Hive
Apache Hive
あぱっちはいぶ
Hadoop上の大量のデータに対して、SQLに似た言語(HiveQL)で問合せを行えるようにするデータウェアハウスのソフトウェア。問合せを分散処理のジョブに変換して実行するため、大量のデータの一括集計に向くが、応答は速くない。
Related
他の資格での定義
Hadoop上の大量のデータに対して、SQLに似た言語(HiveQL)で問合せを行えるようにするデータウェアハウスのソフトウェア。問合せを分散処理のジョブに変換して実行するため、大量のデータの一括集計に向くが、応答は速くない。
Hadoop上の大規模データを、SQLに似た言語のHiveQLで問い合わせるためのデータウェアハウス用のソフトウェア。HiveQLの問合せはMapReduce、Tez、Sparkの分散処理に変換して実行され、表の定義と格納場所を管理するHiveメタストアはSparkやPresto(Trino)など他の処理エンジンからも共通に使われる。大量データのバッチ処理に向き、対話的な問合せには応答が遅い。
Related
関連キーワードの用語
アプリケーションが使用するオープンソースライブラリやサードパーティコンポーネントの脆弱性やライセンス違反を検出する分析手法。SBOMと連携し、既知の脆弱性データベース(NVDなど)と照合して、使用しているコンポーネントのリスクを評価する。
ハードウェア上で直接動作するハイパーバイザ型の、オープンソースの仮想化ソフトウェア。最初に起動する管理用の仮想マシン(Dom0)が他の仮想マシンやデバイスを管理する構造をとる。ゲストOSを仮想化向けに改変して性能を高める準仮想化と、改変せずに動かす完全仮想化の両方に対応する。
Linuxカーネルに組み込まれた仮想化の機能で、Linux自体をハイパーバイザとして動作させ、その上で複数の仮想マシンを実行するオープンソースの技術。CPUの仮想化支援機能を利用し、各仮想マシンはLinuxの1つのプロセスとして管理される。OpenStackなどのクラウド基盤で広く使われている。
多数の汎用サーバのディスクをまとめて1つの大規模なストレージとして提供する、オープンソースの分散ストレージソフトウェア。同じ基盤でオブジェクトストレージ、ブロックストレージ、ファイルシステムの3種類のアクセス方法を提供する。データの格納先を計算で決める仕組み(CRUSH)により、中央の管理サーバに頼らずに容量を拡張できる。
自社のデータセンターなどに、IaaS型のクラウド環境を構築するためのオープンソースのソフトウェア群。仮想マシンを管理するNova、ネットワークのNeutron、ブロックストレージのCinder、オブジェクトストレージのSwift、認証のKeystoneなどのコンポーネントを組み合わせ、利用者がAPIや画面から資源を必要に応じて作成できるようにする。
大量のデータを多数のサーバに分散して並列に処理するためのソフトウェア基盤。データの分割と配置、処理の割当て、障害時の再実行などを自動で行い、開発者は処理の内容を記述するだけで済む。Apache Hadoop(MapReduce)やApache Sparkが代表的。
