データプレパレーション

分析に使える状態にするため、データを収集・クレンジング・変換・結合する準備作業。分析工程全体の中で大きな割合を占めるとされる。

収集したデータを分析や機械学習に使える状態に整える作業の総称。データの探索、クレンジング、形式の変換、結合、集計、特徴量の作成などを含み、専用のツールを使って業務部門の利用者自身が行うこともある。分析作業の多くの時間を占めるとされる。

データ分析の前処理で、他から大きく外れた値（外れ値）、測定や入力の誤りによる値（異常値）、記録されていない値（欠損値）を見つけ、除外、補完、修正などを行うこと。そのまま分析すると結果に偏りが生じるため、原因を確かめて扱いを決める。

本来値が入るべき項目にデータが存在しない状態、またはその項目。対処には、欠損を含むレコードや項目を分析から除外する方法と、平均値・中央値・最頻値や前後の値、回帰などによる予測値で補完する方法があり、欠損が生じた理由によって結果に偏りが生じないかに注意する。

テキスト分析の前処理で、「は」「の」「です」や英語のthe、ofのように、どの文書にも頻繁に現れて内容の判別に役立たない語（ストップワード）を取り除く処理。形態素解析で単語に分けた後、辞書や出現頻度をもとに除去して、分析の精度と効率を高める。目的によっては、否定語のように除くと意味が変わる語を残す必要がある。

機械学習のモデルの精度を高めるために、元のデータから予測に役立つ特徴量を作成・選択・変換すること。標準化、二値化、離散化、対数変換などの変換のほか、日付から曜日を取り出す、複数の項目を組み合わせるなど、業務の知識を生かした新しい特徴量の作成も含む。予測の時点では得られない情報を特徴量に含めてしまうデータリークに注意する。

データの値をその対数に置き換える変換。所得や売上金額のように、少数の大きな値に引っ張られて右に裾の長い分布を正規分布に近い形に整え、外れ値の影響を和らげる。掛け算の関係を足し算の関係として扱える利点もあるが、0や負の値はそのままでは変換できないため、1を加えるなどの工夫が要る。

データの集まりの中で、ほかの値から大きく離れた値。箱ひげ図や標準偏差を使った基準で検出する。誤りとは限らず、珍しいが正しい事象を表すこともあるため、原因を確かめてから修正・削除するか、分析に残すかを判断する。