データ統合

複数のシステムに分散して保存されているデータを、意味と形式を揃えて一つにまとめる活動。マスターデータの整合性確保のため、名寄せや重複排除を対応ルールに沿って行う。

複数のシステムやデータソースに分散したデータを集め、形式や意味をそろえて一貫した形で利用できるようにすること。ETLやELTによる一括連携、APIやデータ仮想化による参照などの方式があり、コード体系の統一や名寄せが課題になる。

データソースから抽出したデータを、変換せずにいったんデータレイクやクラウドDWHに格納（Load）し、格納先の計算資源を使ってSQLなどで変換（Transform）する方式。生データが残るので後から別の目的で変換し直せ、MPPやストレージとコンピュートの分離による拡張性を生かせる。格納前に変換するETLと処理の順序が逆になる。

データを格納する前にスキーマを定義し、それに合うように変換・検証したデータだけを書き込む方式。DWHやリレーショナルデータベースで採られ、データの品質や一貫性を保ちやすく問合せも速いが、事前の設計が必要で、新しい種類のデータや要件の変化への対応に手間がかかる。

オンプレミスや複数のクラウドに分散したデータを、メタデータを活用して統合的に発見・接続・管理し、利用者に一貫した方法で提供するアーキテクチャの考え方。データカタログ、データ仮想化、データ統合、ガバナンスの機能を組み合わせ、データの所在を意識せずに使えるようにする。ドメインごとの分散所有を重視するデータメッシュと対比される。

1つの問合せで、複数の異なるデータベースやストレージにあるデータを、移動・複製せずに横断して検索・結合する機能。クエリエンジンが問合せを分解して各データソースに処理を依頼し、結果をまとめて返す。データ仮想化を実現する代表的な仕組みで、TrinoやクラウドDWHの外部テーブルの参照などで提供される。

データ基盤やデータパイプラインを設計・構築・運用し、分析や業務に使えるデータを安定して供給する技術者。データの収集、変換、統合、品質の自動検査、性能と費用の最適化などを担い、データサイエンティストや業務部門が利用するデータを整える。

システム間でデータを連携する際に、各システム固有の形式ではなく、共通の標準形式としてあらかじめ定めたデータモデル。各システムは自システムの形式と標準形式の間だけを変換すればよいため、システムの数が増えても変換の組合せが急増せず、連携の追加や変更が容易になる。