データ受入れ検査
Data Acceptance Inspection
でーたうけいれけんさ
データソースから届いたデータをデータ基盤に取り込む前に、取り決めた仕様(データコントラクトなど)どおりかを検査すること。スキーマや型、件数、必須項目の欠損、値の範囲、重複などを確かめ、不合格のデータは隔離して提供元に差し戻すことで、不正なデータが下流の分析やAIに流れ込むのを防ぐ。
Related
関連キーワードの用語
データソースの項目の追加・削除や型の変更といったスキーマの変化に、既存のデータや処理を壊さずに追随させること。列の追加のように既存の利用者に影響しない後方互換の変更と、列名や意味の変更のような破壊的変更を区別し、後者は利用者への通知や移行期間を設けて管理する。
データが利用目的に見合う品質を保つよう、品質要求の定義、測定、監視、改善を継続的に行うデータマネジメントの機能。データ品質計画、データ品質制御、データ品質保証、データ品質改善を繰り返すプロセスとして運用し、ISO 8000-61はこれをデータ品質マネジメントのプロセス参照モデルとして定めている。
データが満たすべき品質の条件を、検査できる形で定めた規則。必須項目の未入力の禁止、値の範囲や形式、項目間の整合、参照先コードの存在などを定め、しきい値とともにデータガバナンスで承認する。入力時のチェックや定期的な自動検査に組み込み、品質の低下を予防・検知する。
データ品質を評価するための観点。JIS X 25012では、正確性、完全性、一貫性、信憑性、最新性、アクセシビリティ、標準適合性、機密性、効率性、精度、追跡可能性、理解性、可用性、移植性、回復性の15特性を定め、固有とシステム依存のどちらの観点に属するかで分類している。
データの中身を統計的に調べ、値の分布、欠損や重複の割合、形式の不一致、項目間の関係などを把握する作業。結果を品質の要求と比べて評価(アセスメント)し、品質問題の所在と規模を明らかにして、データ品質ルールの定義や改善の優先順位付けに生かす。
データメッシュにおいて、業務ドメインのチームが利用者に向けて提供するデータの単位。データそのものに加え、スキーマ、意味の説明、品質の水準、利用条件、提供のインタフェースをまとめて製品として扱い、提供者が使いやすさと品質に責任を持つ。仕様や品質の約束は、データコントラクトとして利用者と合意することがある。
