Apache Hive

Hadoop上の大量のデータに対して、SQLに似た言語（HiveQL）で問合せを行えるようにするデータウェアハウスのソフトウェア。問合せを分散処理のジョブに変換して実行するため、大量のデータの一括集計に向くが、応答は速くない。

Hadoop上の大量のデータに対して、SQLに似た言語（HiveQL）で問合せを行えるようにするデータウェアハウスのソフトウェア。問合せを分散処理のジョブに変換して実行するため、大量のデータの一括集計に向くが、応答は速くない。

表のデータを行単位ではなく列単位にまとめて格納するデータベース。集計に必要な列だけを読めばよく、同じ列には似た値が並ぶため圧縮率も高いので、大量の行を対象にした分析処理（OLAP）に向く。1行ずつの挿入や更新は行指向より不利で、データウェアハウス向けの製品やクラウドのDWHサービスに多く採用されている。

検索性能を上げるために、正規化した表をあえて統合したり、導出項目や他の表の項目を重複して持たせたりすること。結合の回数を減らせるので参照が速くなるが、同じデータを複数箇所で更新する必要が生じ、整合性を保つ仕組み（トリガや更新手順）が別に要る。参照が中心のデータウェアハウスのスタースキーマなどで使われる。

列の値ごとに、各行がその値を持つかを1ビットで表したビット列（ビットマップ）を持つ索引。性別や地域のように値の種類が少ない（カーディナリティが低い）列に向き、複数の条件のAND・ORをビット演算で高速に求められる。更新のたびにビットマップを書き換える負荷が大きいので、更新の少ないデータウェアハウスで使われる。

大量のデータの処理を多数のサーバに分けて並列に実行するためのソフトウェア基盤。処理の分割と割当て、ノード間のデータの受渡し、故障したノードの処理のやり直しを基盤側が受け持つので、利用者は処理の内容の記述に集中できる。MapReduceを中核とするApache Hadoopと、メモリ上で処理するApache Sparkが代表的である。

Apache Hadoopの分散ファイルシステム。ファイルを大きなブロック（標準128Mバイト）に分割し、各ブロックを複数のデータノードに複製（標準3つ）して格納し、どのブロックがどこにあるかというメタデータはネームノードが管理する。大きなファイルを一度書いて何度も順次読む用途で高いスループットが出るよう設計されており、小さいファイルの大量格納や低遅延のランダムアクセスには向かない。

データアーキテクチャの形態の一つで、組織のデータを中央の1つのデータベースやデータ基盤に集約して一元的に管理する方式。データの整合性の維持や管理・統制がしやすく、全社横断の分析に向くが、中央の基盤に負荷が集中し、障害時の影響が全体に及びやすい。