データクレンジング

データベースに格納されたデータの中から、重複、誤記、表記ゆれなどの不備を発見し、修正・統一する作業。データの品質を高め、正確な分析や活用を可能にする。

データベースに格納されたデータから、誤り、重複、不整合、表記ゆれなどを検出・修正し、データ品質を向上させる作業。データウェアハウスへのデータ統合時や分析の前処理として実施される。

表記の揺れ、重複、欠損、明らかな誤りを検出して修正・統一し、分析に耐えるデータに整える作業。データウェアハウスへの取込み前に行われ、分析結果の信頼性を左右する重要な工程となる。

データベースに蓄積された不正確・不完全・重複するデータを検出し、修正・削除・統合する作業。データ品質の向上を目的とし、データ移行やデータウェアハウス構築の前処理として実施される。

データに含まれる誤りや不備を修正して品質を高める作業。欠損値の補完・除外、外れ値や異常値の修正・削除、重複の排除、表記ゆれの統一などを行う。

データの誤り、欠損、重複、表記ゆれなどを検出し、修正・補完・削除して、分析や業務に使える品質に整える作業。欠損値の補完・除外、外れ値や異常値の修正・削除、重複の排除、表記ゆれの修正などを行う。原因となる入力や処理を直さないと問題が再発するため、データ品質改善の恒久対策と組み合わせる。

データが利用目的に合った品質を保つよう、品質の要求を定め、測定・評価し、問題を是正・改善する一連の活動。データ品質マネジメントとも呼び、データ品質計画、データ品質制御、データ品質保証、データ品質改善のプロセスを継続的に回す。

複数のシステムやデータソースに分散したデータを集め、形式や意味をそろえて一貫した形で利用できるようにすること。ETLやELTによる一括連携、APIやデータ仮想化による参照などの方式があり、コード体系の統一や名寄せが課題になる。

データが満たすべき品質の条件を、検証できる形で具体的に定めた規則。必須項目の入力、値の範囲や形式、項目間の整合、重複の禁止などを定め、入力時のチェックや定期的な品質測定に適用して、基準を満たさないデータを検出・是正する。

本来値が入るべき項目にデータが存在しない状態、またはその項目。対処には、欠損を含むレコードや項目を分析から除外する方法と、平均値・中央値・最頻値や前後の値、回帰などによる予測値で補完する方法があり、欠損が生じた理由によって結果に偏りが生じないかに注意する。

同じ意味の語や値が、異なる書き方で記録されていること。全角と半角、「株式会社」と「(株)」、旧字体と新字体、住所の書き方の違いなどがあり、集計や名寄せの誤りの原因になる。データクレンジングで、変換ルールや辞書を用いて表記を統一する。

収集したデータを分析や機械学習に使える状態に整える作業の総称。データの探索、クレンジング、形式の変換、結合、集計、特徴量の作成などを含み、専用のツールを使って業務部門の利用者自身が行うこともある。分析作業の多くの時間を占めるとされる。