外れ値

他の値から大きく離れた値。入力ミスの場合もあれば、実際に起きた重要な事象の場合もあるため、機械的に除外せず背景を確認してから判断する。

他の値から大きく離れた値。入力ミスの場合もあれば、実際に起きた重要な事象の場合もあるため、機械的に除外せず背景を確認してから判断する。

データの集まりの中で、ほかの値から大きく離れた値。箱ひげ図や標準偏差を使った基準で検出する。誤りとは限らず、珍しいが正しい事象を表すこともあるため、原因を確かめてから修正・削除するか、分析に残すかを判断する。

データが利用目的に照らしてどの程度適切に使える状態にあるかの度合い。正確性、完全性、一貫性、最新性などの特性で評価し、品質が低いと分析の結果や意思決定を誤らせるため、測定と改善を継続的に行う。

本来値が入るべき項目にデータが存在しない状態、またはその項目。対処には、欠損を含むレコードや項目を分析から除外する方法と、平均値・中央値・最頻値や前後の値、回帰などによる予測値で補完する方法があり、欠損が生じた理由によって結果に偏りが生じないかに注意する。

外れ値のうち、測定機器の故障や入力・記録の誤りなど原因が特定でき、本来の値として扱うべきでないもの。原因を確かめて正しい値に修正するか、修正できなければ削除する。統計的に離れているだけで正しい可能性のある外れ値とは区別して扱う。

同じ意味の語や値が、異なる書き方で記録されていること。全角と半角、「株式会社」と「(株)」、旧字体と新字体、住所の書き方の違いなどがあり、集計や名寄せの誤りの原因になる。データクレンジングで、変換ルールや辞書を用いて表記を統一する。

収集したデータを分析や機械学習に使える状態に整える作業の総称。データの探索、クレンジング、形式の変換、結合、集計、特徴量の作成などを含み、専用のツールを使って業務部門の利用者自身が行うこともある。分析作業の多くの時間を占めるとされる。

複数のデータに分散して登録されている同一の人物や企業などを、氏名・住所・電話番号などの照合によって特定し、1つにまとめること。表記ゆれや入力の誤りがあると同一と判定できないため、事前に表記を統一し、一致とみなす基準を決めて行う。顧客データの統合や重複の排除に用いる。