PD-DNewデータ分析・データ利活用 · データ基盤
CDC（変更データキャプチャ）
Change Data Capture
しーでぃーしー
データベースで発生した挿入・更新・削除の変更だけを検出し、他のシステムやデータ基盤へ逐次伝える仕組み。データベースのトランザクションログを読み取る方式が主流で、元のシステムへの負荷を抑えつつ、全件を転送し直さずに連携先を最新の状態に保てる。
共有:
Related
関連キーワードの用語
PD-DETL
業務システムなどのデータソースからデータを抽出（Extract）し、形式の統一やクレンジングなどの変換（Transform）を行ってから、DWHなどの格納先に書き込む（Load）処理。格納前に変換するため格納先には整ったデータだけが入る一方、変換を担うETLツールやサーバが性能のボトルネックになりやすい。格納後に変換するELTと対比される。
PD-DELT
データソースから抽出したデータを、変換せずにいったんデータレイクやクラウドDWHに格納（Load）し、格納先の計算資源を使ってSQLなどで変換（Transform）する方式。生データが残るので後から別の目的で変換し直せ、MPPやストレージとコンピュートの分離による拡張性を生かせる。格納前に変換するETLと処理の順序が逆になる。
PD-Dバックフィル
データパイプラインの新設、処理ロジックの変更、障害による欠落などのときに、過去の期間を指定して処理をさかのぼって実行し、データを埋め直すこと。対象期間を日付などの単位に分割して実行し、処理がべき等であれば既存のデータを壊さずに再計算できる。
PD-Dデータエンジニア
データ基盤やデータパイプラインを設計・構築・運用し、分析や業務に使えるデータを安定して供給する技術者。データの収集、変換、統合、品質の自動検査、性能と費用の最適化などを担い、データサイエンティストや業務部門が利用するデータを整える。