欠損値

本来値があるべき箇所が空になっているデータ。除外すると件数が減り、平均値などで補完すると分布が歪むため、発生原因を踏まえて扱いを決める必要がある。

本来値があるべき箇所が空になっているデータ。除外すると件数が減り、平均値などで補完すると分布が歪むため、発生原因を踏まえて扱いを決める必要がある。

本来値が入るべき項目にデータが存在しない状態、またはその項目。対処には、欠損を含むレコードや項目を分析から除外する方法と、平均値・中央値・最頻値や前後の値、回帰などによる予測値で補完する方法があり、欠損が生じた理由によって結果に偏りが生じないかに注意する。

収集したデータを分析や機械学習に使える状態に整える作業の総称と、それを支援するツール。欠損値や表記ゆれの処理、型の変換、結合、集約、派生項目の作成などを行う。専用のツールでは、プログラムを書かずに画面の操作で処理の手順を組み立て、繰り返し実行できる。

データの集まりの中で、ほかの値から大きく離れた値。箱ひげ図や標準偏差を使った基準で検出する。誤りとは限らず、珍しいが正しい事象を表すこともあるため、原因を確かめてから修正・削除するか、分析に残すかを判断する。

入力の誤り、測定機器の故障、システムの不具合など、原因が特定できる誤りによって生じた、本来あり得ない値。年齢が負の数である、存在しない日付であるといった、取り得る範囲や業務上の制約から外れた値が該当する。正しい値が分かれば修正し、分からなければ削除するか欠損値として扱う。

同じ対象や意味を表すデータが、異なる文字や書き方で記録されている状態。「株式会社」と「(株)」、全角と半角、旧字体と新字体、住所の番地の書き方の違いなどが該当する。集計や名寄せで同じものとして扱えなくなるため、表記の基準を決めて統一する。

データの中身を統計的に調べ、値の分布、欠損や重複の割合、形式の不一致、項目間の関係などを把握する作業。結果を品質の要求と比べて評価（アセスメント）し、品質問題の所在と規模を明らかにして、データ品質ルールの定義や改善の優先順位付けに生かす。

データ分析の前処理で、他から大きく外れた値（外れ値）、測定や入力の誤りによる値（異常値）、記録されていない値（欠損値）を見つけ、除外、補完、修正などを行うこと。そのまま分析すると結果に偏りが生じるため、原因を確かめて扱いを決める。