表記ゆれ

同一の対象に対して異なる表記が混在している状態。全角と半角、株式会社と(株)などの違いにより、集計結果が実態と一致しなくなる原因となる。

同じ対象や意味を表すデータが、異なる文字や書き方で記録されている状態。「株式会社」と「(株)」、全角と半角、旧字体と新字体、住所の番地の書き方の違いなどが該当する。集計や名寄せで同じものとして扱えなくなるため、表記の基準を決めて統一する。

複数のシステムやデータソースに分散したデータを集め、形式や意味をそろえて一貫した形で利用できるようにすること。ETLやELTによる一括連携、APIやデータ仮想化による参照などの方式があり、コード体系の統一や名寄せが課題になる。

データが利用目的に照らしてどの程度適切に使える状態にあるかの度合い。正確性、完全性、一貫性、最新性などの特性で評価し、品質が低いと分析の結果や意思決定を誤らせるため、測定と改善を継続的に行う。

本来値が入るべき項目にデータが存在しない状態、またはその項目。対処には、欠損を含むレコードや項目を分析から除外する方法と、平均値・中央値・最頻値や前後の値、回帰などによる予測値で補完する方法があり、欠損が生じた理由によって結果に偏りが生じないかに注意する。

他の多くの観測値から大きく離れた値。箱ひげ図や、平均から標準偏差の3倍以上離れているかなどの基準で検出する。入力ミスなどの誤りであれば修正・削除するが、まれでも正しい値は重要な情報を含むため、原因を確かめてから扱いを決める。

外れ値のうち、測定機器の故障や入力・記録の誤りなど原因が特定でき、本来の値として扱うべきでないもの。原因を確かめて正しい値に修正するか、修正できなければ削除する。統計的に離れているだけで正しい可能性のある外れ値とは区別して扱う。

データに含まれる誤り、欠損、重複、表記ゆれ、外れ値などを検出し、修正・補完・削除して品質を高める作業。分析や機械学習の前処理として行い、欠損値の補完・除外、異常値の修正、重複の排除、表記ゆれの統一、名寄せなどの手法を用いる。