データ統合

複数のシステムに分散して保存されているデータを、意味と形式を揃えて一つにまとめる活動。マスターデータの整合性確保のため、名寄せや重複排除を対応ルールに沿って行う。

複数のシステムやデータソースに分散するデータを、形式・コード・意味をそろえて結合し、一貫した形で利用できるようにすること。ETL/ELTによる物理的な集約のほか、データ仮想化による論理的な統合もある。データマネジメントの機能の一つで、データ基盤やマスターデータ管理の前提となる。

同じ意味の語や値が、異なる書き方で記録されていること。全角と半角、「株式会社」と「(株)」、旧字体と新字体、住所の書き方の違いなどがあり、集計や名寄せの誤りの原因になる。データクレンジングで、変換ルールや辞書を用いて表記を統一する。

データに含まれる誤り、欠損、重複、表記ゆれ、外れ値などを検出し、修正・補完・削除して品質を高める作業。分析や機械学習の前処理として行い、欠損値の補完・除外、異常値の修正、重複の排除、表記ゆれの統一、名寄せなどの手法を用いる。

データソースから抽出（Extract）したデータを、変換せずにまずデータレイクやクラウド型のデータウェアハウスに格納（Load）し、格納先の処理能力を使って必要に応じて変換（Transform）する方式。ETLと処理の順序が逆で、大量のデータを速く取り込め、元のデータを残したまま用途に応じた加工ができる。

複数の業務システムから集めたデータを、分析しやすいよう統合・整理して時系列で蓄積する、意思決定支援のためのデータベース。サブジェクト（主題）指向、統合されている、時系列で保持する、更新・削除しない（不揮発）という特徴をもち、格納前にETLで変換するスキーマオンライトを採る。

データを格納する前にスキーマ（構造の定義）を決め、それに合うよう変換・検証してから書き込む方式。リレーショナルデータベースやデータウェアハウスで採られ、データの品質と問合せの性能を確保しやすいが、新しい種類のデータを取り込むにはスキーマの設計変更が要る。

データ統合ツールやBIツールなどが、データベース、SaaS、ファイル、APIといった外部のデータソースに接続してデータを読み書きするための部品。接続方式や認証、データ形式の違いを吸収するため、個別にプログラムを作らずに設定だけでデータを連携できる。