データエンジニア

データ基盤やデータパイプラインの設計・構築・運用を担う技術者。分析に使える形でデータを収集・加工し、安定して供給する役割を負う。

データ基盤やデータパイプラインを設計・構築・運用し、分析や業務に使えるデータを安定して供給する技術者。データの収集、変換、統合、品質の自動検査、性能と費用の最適化などを担い、データサイエンティストや業務部門が利用するデータを整える。

データソースから抽出したデータを、変換せずにいったんデータレイクやクラウドDWHに格納（Load）し、格納先の計算資源を使ってSQLなどで変換（Transform）する方式。生データが残るので後から別の目的で変換し直せ、MPPやストレージとコンピュートの分離による拡張性を生かせる。格納前に変換するETLと処理の順序が逆になる。

データを格納する前にスキーマを定義し、それに合うように変換・検証したデータだけを書き込む方式。DWHやリレーショナルデータベースで採られ、データの品質や一貫性を保ちやすく問合せも速いが、事前の設計が必要で、新しい種類のデータや要件の変化への対応に手間がかかる。

複数のシステムやデータソースに分散するデータを、形式・コード・意味をそろえて結合し、一貫した形で利用できるようにすること。ETL/ELTによる物理的な集約のほか、データ仮想化による論理的な統合もある。データマネジメントの機能の一つで、データ基盤やマスターデータ管理の前提となる。

データオーナーが定めた方針に従い、データを格納するシステムの運用、バックアップ、アクセス権の設定、セキュリティ対策などの技術的な管理を担う役割。通常はIT部門やデータ基盤の運用担当が務め、データの内容や利用の可否を決める権限は持たない点でデータオーナーと異なる。

組織が扱うデータをどのような構造で定義し、どこに保存し、システム間でどう流通・統合し、どう管理するかを示す全体の設計図。エンタープライズアーキテクチャを構成する要素の一つで、データモデル、データストア（データウェアハウスやデータレイク）の配置、データ連携の方式、データ管理の標準などを含む。

データソースから抽出（Extract）したデータを、変換せずにまずデータレイクやクラウド型のデータウェアハウスに格納（Load）し、格納先の処理能力を使って必要に応じて変換（Transform）する方式。ETLと処理の順序が逆で、大量のデータを速く取り込め、元のデータを残したまま用途に応じた加工ができる。