ETL(Extract, Transform, Load)
Extract, Transform, Load
いーてぃーえる
データの抽出(Extract)、変換(Transform)、ロード(Load)の3段階でデータを移動・変換する処理。データウェアハウスへのデータ投入やシステム間のデータ連携で用いる。バッチ処理で実施されることが多い。
システム方式設計 > 処理方式の設計
関連キーワードの用語
SAバッチ処理
一定量のデータや処理要求をまとめて一括処理する方式。日次・月次の集計処理やデータ移行などに用いる。リアルタイム性は不要だが、処理時間の制約(バッチウィンドウ)を考慮した設計が必要。
SAオンライントランザクション処理
端末からの要求に対してリアルタイムにトランザクション処理を行う方式。OLTP。データベースの一貫性を保ちながら、多数の短いトランザクションを高速に処理する。ACID特性の保証が重要。
SAメッセージキュー
システム間やプロセス間のメッセージを一時的にキュー(待ち行列)に蓄積し、非同期に受け渡す仕組み。送信側と受信側の処理速度の差を吸収し、疎結合なシステム間連携を実現する。
SA非同期処理
処理の完了を待たずに次の処理に進む方式。呼び出し側はブロックされず、結果はコールバック、Promise、イベントなどで受け取る。応答性の向上やリソースの効率的活用に有効だが、処理順序の管理やエラーハンドリングが複雑になる。
SA結果整合性(Eventual Consistency)
分散システムにおいて、一定時間経過後にはすべてのレプリカが最終的に同じ状態に収束することを保証する一貫性モデル。強い一貫性より可用性とスケーラビリティを優先する場合に採用される。NoSQLデータベースで広く用いられる。
IPデータ駆動型社会
あらゆる分野でデータの収集・分析・活用が意思決定や価値創出の基盤となる社会。ビッグデータやAIを活用して、社会課題の解決や新たなサービス創出を推進する。