ETL(Extract, Transform, Load)
Extract, Transform, Load
いーてぃーえる
業務システムなどのデータソースからデータを抽出(Extract)し、分析に適した形式に変換・加工(Transform)してから、データウェアハウスなどに格納(Load)する処理、またはそのツール。格納前に変換するので格納先には整ったデータだけが入るが、変換処理の設計と処理時間が課題になる。
Related
他の資格での定義
データウェアハウスにデータを取り込むプロセス。抽出(Extract:ソースシステムからデータを取り出す)、変換(Transform:形式やコードの統一)、格納(Load:データウェアハウスに書き込む)の3段階で構成される。
データウェアハウスにデータを格納するための処理プロセス。業務システムからデータを抽出(Extract)し、形式の統一やクレンジングなどの変換(Transform)を行い、データウェアハウスに格納(Load)する。
データの抽出(Extract)、変換(Transform)、ロード(Load)の3段階でデータを移動・変換する処理。データウェアハウスへのデータ投入やシステム間のデータ連携で用いる。バッチ処理で実施されることが多い。
データの抽出(Extract)、変換(Transform)、格納(Load)の3工程からなるデータ移動プロセス。ソースシステムからデータを抽出し、形式変換やデータクレンジングを行った後、ターゲットシステムに格納する。データウェアハウスへのデータ投入に広く使用される。
データを抽出し、変換してから格納する処理方式。変換を事前に行うため格納先には整形済みのデータが入る。先に格納して後から変換する方式はELTと呼ばれる。
業務システムなどのデータソースからデータを抽出(Extract)し、形式の統一やクレンジングなどの変換(Transform)を行ってから、DWHなどの格納先に書き込む(Load)処理。格納前に変換するため格納先には整ったデータだけが入る一方、変換を担うETLツールやサーバが性能のボトルネックになりやすい。格納後に変換するELTと対比される。
Past Exams
過去問での出題
過去問で 2 回出題(応用情報技術者試験 1・高度試験 午前Ⅰ 1)
出典: 独立行政法人情報処理推進機構(IPA)の過去問題。問題文は IPA のサイトの PDF で確認できます。「選択肢」は、問題文ではなく選択肢に出たものです。用語名で照合しているため、関係の薄い問題が含まれることがあります。
Related
関連キーワードの用語
データアーキテクチャの形態の一つで、組織のデータを中央の1つのデータベースやデータ基盤に集約して一元的に管理する方式。データの整合性の維持や管理・統制がしやすく、全社横断の分析に向くが、中央の基盤に負荷が集中し、障害時の影響が全体に及びやすい。
表のデータを行単位ではなく列単位にまとめて格納するデータベース。集計に必要な列だけを読み出せばよく、同じ種類の値が並ぶため圧縮の効率も高いので、大量データの分析処理(データウェアハウス)に向く。1行単位の追加や更新は行指向のデータベースより不得手である。
正規化した表を、検索の性能を高める目的で、あえて結合したり、冗長な列や集計値を持たせたりすること。表の結合の処理を減らして問合せを速くできるが、同じデータを複数箇所で持つため、更新時に不整合が起きないよう管理する必要がある。
組織内で特定のデータについて正とする情報源を1か所に定め、全員がそこを参照するようにする考え方。部門ごとに同じデータを別々に持つと値が食い違い、どれが正しいか判断できなくなるため、マスターデータ管理やデータ統合によって実現する。
データウェアハウスなどから、特定の部門や用途に必要なデータだけを切り出して格納した小規模なデータベース。営業部門の売上分析用、マーケティング用などに作り、対象を絞ることで利用者が扱いやすく、検索の応答も速くなる。
データレイクとデータウェアハウスの特徴を1つの基盤に統合したデータ基盤のアーキテクチャ。安価なオブジェクトストレージに多様な形式のデータを置いたまま、トランザクション管理やスキーマの適用、高速なSQL分析を可能にし、BIと機械学習を同じデータで行えるようにする。
