外れ値

他の値から大きく離れた値。入力ミスの場合もあれば、実際に起きた重要な事象の場合もあるため、機械的に除外せず背景を確認してから判断する。

他の値から大きく離れた値。入力ミスの場合もあれば、実際に起きた重要な事象の場合もあるため、機械的に除外せず背景を確認してから判断する。

他の多くの観測値から大きく離れた値。箱ひげ図や、平均から標準偏差の3倍以上離れているかなどの基準で検出する。入力ミスなどの誤りであれば修正・削除するが、まれでも正しい値は重要な情報を含むため、原因を確かめてから扱いを決める。

収集したデータを分析や機械学習に使える状態に整える作業の総称と、それを支援するツール。欠損値や表記ゆれの処理、型の変換、結合、集約、派生項目の作成などを行う。専用のツールでは、プログラムを書かずに画面の操作で処理の手順を組み立て、繰り返し実行できる。

本来は値が入るべき項目に値が記録されていない状態、またはその項目。対処には、平均値や中央値、予測モデルで推定した値で埋める補完と、欠損を含むレコードや項目を分析から除く除外がある。欠損が特定の条件に偏って生じている場合に安易に除外すると、分析結果に偏りが生じる。

入力の誤り、測定機器の故障、システムの不具合など、原因が特定できる誤りによって生じた、本来あり得ない値。年齢が負の数である、存在しない日付であるといった、取り得る範囲や業務上の制約から外れた値が該当する。正しい値が分かれば修正し、分からなければ削除するか欠損値として扱う。

同じ対象や意味を表すデータが、異なる文字や書き方で記録されている状態。「株式会社」と「(株)」、全角と半角、旧字体と新字体、住所の番地の書き方の違いなどが該当する。集計や名寄せで同じものとして扱えなくなるため、表記の基準を決めて統一する。

データ分析の前処理で、他から大きく外れた値（外れ値）、測定や入力の誤りによる値（異常値）、記録されていない値（欠損値）を見つけ、除外、補完、修正などを行うこと。そのまま分析すると結果に偏りが生じるため、原因を確かめて扱いを決める。

データが利用目的に照らしてどの程度適切に使える状態にあるかの度合い。正確性、完全性、一貫性、最新性などの特性で評価し、品質が低いと分析の結果や意思決定を誤らせるため、測定と改善を継続的に行う。