データ品質ルール

データが満たすべき品質の条件を、検証できる形で具体的に定めた規則。必須項目の入力、値の範囲や形式、項目間の整合、重複の禁止などを定め、入力時のチェックや定期的な品質測定に適用して、基準を満たさないデータを検出・是正する。

データソースから届いたデータをデータ基盤に取り込む前に、取り決めた仕様（データコントラクトなど）どおりかを検査すること。スキーマや型、件数、必須項目の欠損、値の範囲、重複などを確かめ、不合格のデータは隔離して提供元に差し戻すことで、不正なデータが下流の分析やAIに流れ込むのを防ぐ。

特徴量エンジニアリングの手法の一つで、数値をしきい値で区切って0と1の2値に変換すること。「購入金額が1万円以上か」のように、量の大小よりも条件を満たすかどうかに意味がある場合に使い、外れ値の影響も抑えられる。画像処理では、画素の濃淡をしきい値で白と黒に分ける処理を指す。

データが利用目的に見合う品質を保つよう、品質要求の定義、測定、監視、改善を継続的に行うデータマネジメントの機能。データ品質計画、データ品質制御、データ品質保証、データ品質改善を繰り返すプロセスとして運用し、ISO 8000-61はこれをデータ品質マネジメントのプロセス参照モデルとして定めている。

データ品質を評価するための観点。JIS X 25012では、正確性、完全性、一貫性、信憑性、最新性、アクセシビリティ、標準適合性、機密性、効率性、精度、追跡可能性、理解性、可用性、移植性、回復性の15特性を定め、固有とシステム依存のどちらの観点に属するかで分類している。

データの中身を統計的に調べ、値の分布、欠損や重複の割合、形式の不一致、項目間の関係などを把握する作業。結果を品質の要求と比べて評価（アセスメント）し、品質問題の所在と規模を明らかにして、データ品質ルールの定義や改善の優先順位付けに生かす。

分類モデルの判定のしきい値を変えながら、横軸に偽陽性率（FP÷（FP＋TN））、縦軸に真陽性率（再現率）をとってプロットした曲線。左上に近いほど性能がよく、対角線はランダムな予測に当たる。曲線の下の面積（AUC）で、しきい値によらないモデルの識別能力を比べられる。