データプロファイリング

対象データの中身を統計的に調べ、値の分布、欠損の割合、想定形式との不一致などを把握する作業。品質問題の所在と規模を、改善に着手する前に明らかにする。

データソースから届いたデータをデータ基盤に取り込む前に、取り決めた仕様（データコントラクトなど）どおりかを検査すること。スキーマや型、件数、必須項目の欠損、値の範囲、重複などを確かめ、不合格のデータは隔離して提供元に差し戻すことで、不正なデータが下流の分析やAIに流れ込むのを防ぐ。

データが利用目的に見合う品質を保つよう、品質要求の定義、測定、監視、改善を継続的に行うデータマネジメントの機能。データ品質計画、データ品質制御、データ品質保証、データ品質改善を繰り返すプロセスとして運用し、ISO 8000-61はこれをデータ品質マネジメントのプロセス参照モデルとして定めている。

データが満たすべき品質の条件を、検査できる形で定めた規則。必須項目の未入力の禁止、値の範囲や形式、項目間の整合、参照先コードの存在などを定め、しきい値とともにデータガバナンスで承認する。入力時のチェックや定期的な自動検査に組み込み、品質の低下を予防・検知する。

データ品質を評価するための観点。JIS X 25012では、正確性、完全性、一貫性、信憑性、最新性、アクセシビリティ、標準適合性、機密性、効率性、精度、追跡可能性、理解性、可用性、移植性、回復性の15特性を定め、固有とシステム依存のどちらの観点に属するかで分類している。

本来は値が入るべき項目に値が記録されていない状態、またはその項目。対処には、平均値や中央値、予測モデルで推定した値で埋める補完と、欠損を含むレコードや項目を分析から除く除外がある。欠損が特定の条件に偏って生じている場合に安易に除外すると、分析結果に偏りが生じる。

データに含まれる誤り、欠損、重複、表記ゆれ、外れ値などを検出し、修正・補完・削除して品質を高める作業。分析や機械学習の前処理として行い、欠損値の補完・除外、異常値の修正、重複の排除、表記ゆれの統一、名寄せなどの手法を用いる。