データエンジニア

データ基盤やデータパイプラインの設計・構築・運用を担う技術者。分析に使える形でデータを収集・加工し、安定して供給する役割を負う。

データソースから抽出したデータを、変換せずにいったんデータレイクやクラウドDWHに格納（Load）し、格納先の計算資源を使ってSQLなどで変換（Transform）する方式。生データが残るので後から別の目的で変換し直せ、MPPやストレージとコンピュートの分離による拡張性を生かせる。格納前に変換するETLと処理の順序が逆になる。

業務システムなどのデータソースからデータを抽出（Extract）し、形式の統一やクレンジングなどの変換（Transform）を行ってから、DWHなどの格納先に書き込む（Load）処理。格納前に変換するため格納先には整ったデータだけが入る一方、変換を担うETLツールやサーバが性能のボトルネックになりやすい。格納後に変換するELTと対比される。

データを格納する前にスキーマを定義し、それに合うように変換・検証したデータだけを書き込む方式。DWHやリレーショナルデータベースで採られ、データの品質や一貫性を保ちやすく問合せも速いが、事前の設計が必要で、新しい種類のデータや要件の変化への対応に手間がかかる。

データベースで発生した挿入・更新・削除の変更だけを検出し、他のシステムやデータ基盤へ逐次伝える仕組み。データベースのトランザクションログを読み取る方式が主流で、元のシステムへの負荷を抑えつつ、全件を転送し直さずに連携先を最新の状態に保てる。

データパイプラインの新設、処理ロジックの変更、障害による欠落などのときに、過去の期間を指定して処理をさかのぼって実行し、データを埋め直すこと。対象期間を日付などの単位に分割して実行し、処理がべき等であれば既存のデータを壊さずに再計算できる。

複数のシステムやデータソースに分散するデータを、形式・コード・意味をそろえて結合し、一貫した形で利用できるようにすること。ETL/ELTによる物理的な集約のほか、データ仮想化による論理的な統合もある。データマネジメントの機能の一つで、データ基盤やマスターデータ管理の前提となる。