表記ゆれ

同一の対象に対して異なる表記が混在している状態。全角と半角、株式会社と(株)などの違いにより、集計結果が実態と一致しなくなる原因となる。

同じ意味の語や値が、異なる書き方で記録されていること。全角と半角、「株式会社」と「(株)」、旧字体と新字体、住所の書き方の違いなどがあり、集計や名寄せの誤りの原因になる。データクレンジングで、変換ルールや辞書を用いて表記を統一する。

収集したデータを分析や機械学習に使える状態に整える作業の総称と、それを支援するツール。欠損値や表記ゆれの処理、型の変換、結合、集約、派生項目の作成などを行う。専用のツールでは、プログラムを書かずに画面の操作で処理の手順を組み立て、繰り返し実行できる。

Webサイトの行動履歴、購買履歴、アプリの利用状況、顧客属性など、複数の経路で得た顧客データを個人単位で統合・管理し、分析や施策に活用するための基盤。名寄せで同一顧客のデータを1つにまとめ、セグメントを作ってMAツールや広告配信と連携し、一人ひとりに合わせたマーケティングを行う。同意の管理など個人情報の適正な取扱いが前提となる。

データの誤り、欠損、重複、表記ゆれなどを検出し、修正・補完・削除して、分析や業務に使える品質に整える作業。欠損値の補完・除外、外れ値や異常値の修正・削除、重複の排除、表記ゆれの修正などを行う。原因となる入力や処理を直さないと問題が再発するため、データ品質改善の恒久対策と組み合わせる。

本来は値が入るべき項目に値が記録されていない状態、またはその項目。対処には、平均値や中央値、予測モデルで推定した値で埋める補完と、欠損を含むレコードや項目を分析から除く除外がある。欠損が特定の条件に偏って生じている場合に安易に除外すると、分析結果に偏りが生じる。

データの集まりの中で、ほかの値から大きく離れた値。箱ひげ図や標準偏差を使った基準で検出する。誤りとは限らず、珍しいが正しい事象を表すこともあるため、原因を確かめてから修正・削除するか、分析に残すかを判断する。

入力の誤り、測定機器の故障、システムの不具合など、原因が特定できる誤りによって生じた、本来あり得ない値。年齢が負の数である、存在しない日付であるといった、取り得る範囲や業務上の制約から外れた値が該当する。正しい値が分かれば修正し、分からなければ削除するか欠損値として扱う。