ELT(Extract, Load, Transform)
Extract Load Transform
いーえるてぃー
データソースから抽出(Extract)したデータを、変換せずにまずデータレイクやクラウド型のデータウェアハウスに格納(Load)し、格納先の処理能力を使って必要に応じて変換(Transform)する方式。ETLと処理の順序が逆で、大量のデータを速く取り込め、元のデータを残したまま用途に応じた加工ができる。
Related
他の資格での定義
Related
関連キーワードの用語
データを格納する前にスキーマ(構造の定義)を決め、それに合うよう変換・検証してから書き込む方式。リレーショナルデータベースやデータウェアハウスで採られ、データの品質と問合せの性能を確保しやすいが、新しい種類のデータを取り込むにはスキーマの設計変更が要る。
データを、固有の識別子とメタデータを付けたオブジェクトという単位で、階層構造を持たない平坦な領域に格納するストレージ。HTTPベースのAPIでアクセスし、容量を大規模に拡張しやすいため、クラウドでの画像・動画、バックアップ、データレイクの保管に使われる。
複数のシステムやデータソースに分散したデータを集め、形式や意味をそろえて一貫した形で利用できるようにすること。ETLやELTによる一括連携、APIやデータ仮想化による参照などの方式があり、コード体系の統一や名寄せが課題になる。
構造化データだけでなく、ログ、画像、文書などの半構造化データや非構造化データも、元の形式のまま大量に蓄積する保存基盤。利用時にスキーマを適用するスキーマオンリードを採り、機械学習や探索的な分析に向くが、メタデータ管理が不十分だと中身の分からないデータスワンプになる。
複数の業務システムから集めたデータを、分析しやすいよう統合・整理して時系列で蓄積する、意思決定支援のためのデータベース。サブジェクト(主題)指向、統合されている、時系列で保持する、更新・削除しない(不揮発)という特徴をもち、格納前にETLで変換するスキーマオンライトを採る。
データレイクとデータウェアハウスの特徴を1つの基盤に統合したデータ基盤のアーキテクチャ。安価なオブジェクトストレージに多様な形式のデータを置いたまま、トランザクション管理やスキーマの適用、高速なSQL分析を可能にし、BIと機械学習を同じデータで行えるようにする。
