データクレンジング

データベースに格納されたデータの中から、重複、誤記、表記ゆれなどの不備を発見し、修正・統一する作業。データの品質を高め、正確な分析や活用を可能にする。

データベースに格納されたデータから、誤り、重複、不整合、表記ゆれなどを検出・修正し、データ品質を向上させる作業。データウェアハウスへのデータ統合時や分析の前処理として実施される。

表記の揺れ、重複、欠損、明らかな誤りを検出して修正・統一し、分析に耐えるデータに整える作業。データウェアハウスへの取込み前に行われ、分析結果の信頼性を左右する重要な工程となる。

データベースに蓄積された不正確・不完全・重複するデータを検出し、修正・削除・統合する作業。データ品質の向上を目的とし、データ移行やデータウェアハウス構築の前処理として実施される。

データの誤り、欠損、重複、表記ゆれなどを検出し、修正・補完・削除して、分析や業務に使える品質に整える作業。欠損値の補完・除外、外れ値や異常値の修正・削除、重複の排除、表記ゆれの修正などを行う。原因となる入力や処理を直さないと問題が再発するため、データ品質改善の恒久対策と組み合わせる。

データに含まれる誤り、欠損、重複、表記ゆれ、外れ値などを検出し、修正・補完・削除して品質を高める作業。分析や機械学習の前処理として行い、欠損値の補完・除外、異常値の修正、重複の排除、表記ゆれの統一、名寄せなどの手法を用いる。

ある情報について正式な値を持つ場所を一つに定め、全員がそこを参照するようにする考え方。同じ項目が複数箇所で別々に更新されて食い違う事態を防ぐ。

データが利用目的に対してどれだけ適合しているかの度合い。正確性、完全性、一貫性、信憑性、機密性などの品質特性で評価し、測定可能な指標に落として管理する。

データ品質を評価する観点。値が事実と合っているかの正確性、欠落がないかの完全性、他のデータと矛盾しないかの一貫性、出所が信頼できるかの信憑性などがある。

同一の対象に対して異なる表記が混在している状態。全角と半角、株式会社と(株)などの違いにより、集計結果が実態と一致しなくなる原因となる。

複数のデータに散在する同一の対象を突き合わせて一つにまとめる作業。表記ゆれや入力揺らぎを吸収し、マスターデータの整合性と一貫性を確保する。

データがどこで生成され、どのような加工を経て現在の形になったかという来歴。品質問題が起きた際に影響範囲と原因箇所を特定するために不可欠となる。