二値化

特徴量エンジニアリングの手法の一つで、数値をしきい値で区切って0と1の2値に変換すること。「購入金額が1万円以上か」のように、量の大小よりも条件を満たすかどうかに意味がある場合に使い、外れ値の影響も抑えられる。画像処理では、画素の濃淡をしきい値で白と黒に分ける処理を指す。

データ分析の前処理で、他から大きく外れた値（外れ値）、測定や入力の誤りによる値（異常値）、記録されていない値（欠損値）を見つけ、除外、補完、修正などを行うこと。そのまま分析すると結果に偏りが生じるため、原因を確かめて扱いを決める。

データ分析の前処理で、各データから平均を引いて標準偏差で割り、平均0、標準偏差1のデータに変換すること。単位や大きさの異なる変数を同じ尺度で比較・分析できるようにする。変換後の値を z スコアという。

収集したデータを分析や機械学習に使える状態に整える作業の総称と、それを支援するツール。欠損値や表記ゆれの処理、型の変換、結合、集約、派生項目の作成などを行う。専用のツールでは、プログラムを書かずに画面の操作で処理の手順を組み立て、繰り返し実行できる。

テキスト分析の前処理で、「は」「の」「です」や英語のthe、ofのように、どの文書にも頻繁に現れて内容の判別に役立たない語（ストップワード）を取り除く処理。形態素解析で単語に分けた後、辞書や出現頻度をもとに除去して、分析の精度と効率を高める。目的によっては、否定語のように除くと意味が変わる語を残す必要がある。

機械学習のモデルの精度を高めるために、元のデータから予測に役立つ特徴量を作成・選択・変換すること。標準化、二値化、離散化、対数変換などの変換のほか、日付から曜日を取り出す、複数の項目を組み合わせるなど、業務の知識を生かした新しい特徴量の作成も含む。予測の時点では得られない情報を特徴量に含めてしまうデータリークに注意する。

データの値をその対数に置き換える変換。所得や売上金額のように、少数の大きな値に引っ張られて右に裾の長い分布を正規分布に近い形に整え、外れ値の影響を和らげる。掛け算の関係を足し算の関係として扱える利点もあるが、0や負の値はそのままでは変換できないため、1を加えるなどの工夫が要る。