ETL

データウェアハウスにデータを取り込むプロセス。抽出（Extract：ソースシステムからデータを取り出す）、変換（Transform：形式やコードの統一）、格納（Load：データウェアハウスに書き込む）の3段階で構成される。

データウェアハウスにデータを格納するための処理プロセス。業務システムからデータを抽出（Extract）し、形式の統一やクレンジングなどの変換（Transform）を行い、データウェアハウスに格納（Load）する。

データの抽出（Extract）、変換（Transform）、ロード（Load）の3段階でデータを移動・変換する処理。データウェアハウスへのデータ投入やシステム間のデータ連携で用いる。バッチ処理で実施されることが多い。

データの抽出（Extract）、変換（Transform）、格納（Load）の3工程からなるデータ移動プロセス。ソースシステムからデータを抽出し、形式変換やデータクレンジングを行った後、ターゲットシステムに格納する。データウェアハウスへのデータ投入に広く使用される。

データを抽出し、変換してから格納する処理方式。変換を事前に行うため格納先には整形済みのデータが入る。先に格納して後から変換する方式はELTと呼ばれる。

業務システムなどのデータソースからデータを抽出（Extract）し、分析に適した形式に変換・加工（Transform）してから、データウェアハウスなどに格納（Load）する処理、またはそのツール。格納前に変換するので格納先には整ったデータだけが入るが、変換処理の設計と処理時間が課題になる。

データベース、SaaS、ファイルストレージ、APIなどの多様なデータソースとデータ基盤をつなぐための部品。接続先ごとの認証、通信方式、データ形式の違いを吸収し、データの取込みや書き出しを設定だけで行えるようにする。ETLツールやデータ統合サービスは、主要な接続先向けのコネクタを用意していることが多い。

データソースから抽出したデータを、変換せずにいったんデータレイクやクラウドDWHに格納（Load）し、格納先の計算資源を使ってSQLなどで変換（Transform）する方式。生データが残るので後から別の目的で変換し直せ、MPPやストレージとコンピュートの分離による拡張性を生かせる。格納前に変換するETLと処理の順序が逆になる。

複数のデータベース、ファイル、SaaSなどに分散したデータを物理的に移動・複製せず、仮想的な統合層を通じて1つのデータソースのように参照できるようにする技術。問合せの時点で各データソースから取り出して結合するので、最新のデータを使え、複製の手間や保管の費用を抑えられるが、元のシステムの性能に影響を受ける。

複数の異なるデータソースのデータを、共通の項目をキーにして分析の場で組み合わせる手法。DWHに統合されていない外部データやスプレッドシートなどを、BIツール上でそれぞれ集計してから結び付けて分析できる。恒久的な統合ではなく、分析のたびに組み合わせる点がデータ統合と異なる。

データベースで発生した挿入・更新・削除の変更だけを検出し、他のシステムやデータ基盤へ逐次伝える仕組み。データベースのトランザクションログを読み取る方式が主流で、元のシステムへの負荷を抑えつつ、全件を転送し直さずに連携先を最新の状態に保てる。

データパイプラインの新設、処理ロジックの変更、障害による欠落などのときに、過去の期間を指定して処理をさかのぼって実行し、データを埋め直すこと。対象期間を日付などの単位に分割して実行し、処理がべき等であれば既存のデータを壊さずに再計算できる。