スキーマオンリード
Schema-on-Read
すきーまおんりーど
データを格納するときにはスキーマ(構造の定義)を決めず、元の形式のまま保存しておき、読み出して利用する時点でスキーマを適用する方式。データレイクで採られ、多様なデータを素早く取り込めて用途に応じた解釈ができるが、利用時の加工や品質確認の負担が大きい。
Related
他の資格での定義
Related
関連キーワードの用語
データを、固有の識別子とメタデータを付けたオブジェクトという単位で、階層構造を持たない平坦な領域に格納するストレージ。HTTPベースのAPIでアクセスし、容量を大規模に拡張しやすいため、クラウドでの画像・動画、バックアップ、データレイクの保管に使われる。
業務システムなどのデータソースからデータを抽出(Extract)し、分析に適した形式に変換・加工(Transform)してから、データウェアハウスなどに格納(Load)する処理、またはそのツール。格納前に変換するので格納先には整ったデータだけが入るが、変換処理の設計と処理時間が課題になる。
データソースから抽出(Extract)したデータを、変換せずにまずデータレイクやクラウド型のデータウェアハウスに格納(Load)し、格納先の処理能力を使って必要に応じて変換(Transform)する方式。ETLと処理の順序が逆で、大量のデータを速く取り込め、元のデータを残したまま用途に応じた加工ができる。
データレイクとデータウェアハウスの特徴を1つの基盤に統合したデータ基盤のアーキテクチャ。安価なオブジェクトストレージに多様な形式のデータを置いたまま、トランザクション管理やスキーマの適用、高速なSQL分析を可能にし、BIと機械学習を同じデータで行えるようにする。
従来のデータベース管理の方法では扱いきれないほど大量で多様なデータ。量(Volume)、種類(Variety)、発生・更新の速度(Velocity)の3Vで特徴づけられ、正確性(Veracity)や価値(Value)を加えることもある。分散処理基盤やクラウドで蓄積・分析し、新たな知見の発見に生かす。
業務システムなどのデータソースからデータを抽出(Extract)し、形式の統一やクレンジングなどの変換(Transform)を行ってから、DWHなどの格納先に書き込む(Load)処理。格納前に変換するため格納先には整ったデータだけが入る一方、変換を担うETLツールやサーバが性能のボトルネックになりやすい。格納後に変換するELTと対比される。
