データ仮想化

実データを物理的に移動・複製せず、複数のデータソースを仮想的に統合して一つのデータのように見せる技術。コピーを作らないため鮮度と整合性を保ちやすい。

データを物理的に複製・移動せず、複数のデータソースを仮想的な層を介して1つのデータベースのように参照できるようにする技術。利用者の問合せを各データソースへの問合せに変換して結果をまとめるため、最新のデータを即座に使えるが、性能はデータソースの負荷や応答に左右される。

業務システムなどのデータソースからデータを抽出（Extract）し、形式の統一やクレンジングなどの変換（Transform）を行ってから、DWHなどの格納先に書き込む（Load）処理。格納前に変換するため格納先には整ったデータだけが入る一方、変換を担うETLツールやサーバが性能のボトルネックになりやすい。格納後に変換するELTと対比される。

データベース、SaaS、ファイルストレージ、APIなどの多様なデータソースとデータ基盤をつなぐための部品。接続先ごとの認証、通信方式、データ形式の違いを吸収し、データの取込みや書き出しを設定だけで行えるようにする。ETLツールやデータ統合サービスは、主要な接続先向けのコネクタを用意していることが多い。

複数の異なるデータソースのデータを、共通の項目をキーにして分析の場で組み合わせる手法。DWHに統合されていない外部データやスプレッドシートなどを、BIツール上でそれぞれ集計してから結び付けて分析できる。恒久的な統合ではなく、分析のたびに組み合わせる点がデータ統合と異なる。

Facebookが開発した、大規模データに対する対話的な問合せのための分散SQLクエリエンジン。データを自ら格納せず、HDFSやHive、クラウドのオブジェクトストレージ、関係データベースなどにコネクタで接続し、複数のデータソースをまたいでSQLで問い合わせられる。中間結果をメモリ上で次の処理へ流すのでMapReduceより応答が速く、開発者らが派生させたTrinoはクラウドの問合せサービスの基盤にも使われている。

組織内で特定のデータについて正とする情報源を1か所に定め、全員がそこを参照するようにする考え方。部門ごとに同じデータを別々に持つと値が食い違い、どれが正しいか判断できなくなるため、マスターデータ管理やデータ統合によって実現する。

業務システムなどのデータソースからデータを抽出（Extract）し、分析に適した形式に変換・加工（Transform）してから、データウェアハウスなどに格納（Load）する処理、またはそのツール。格納前に変換するので格納先には整ったデータだけが入るが、変換処理の設計と処理時間が課題になる。