対数変換

収集したデータを分析や機械学習に使える状態に整える作業の総称と、それを支援するツール。欠損値や表記ゆれの処理、型の変換、結合、集約、派生項目の作成などを行う。専用のツールでは、プログラムを書かずに画面の操作で処理の手順を組み立て、繰り返し実行できる。

特徴量エンジニアリングの手法の一つで、各値から平均を引いて標準偏差で割り、平均0・分散1にそろえる変換。単位や桁の異なる特徴量を同じ尺度で比較でき、距離を使う手法（k-means法、k近傍法など）や勾配降下法による学習が安定する。最小値0・最大値1の範囲に収めるmin-max正規化と区別する。

特徴量エンジニアリングの手法の一つで、数値をしきい値で区切って0と1の2値に変換すること。「購入金額が1万円以上か」のように、量の大小よりも条件を満たすかどうかに意味がある場合に使い、外れ値の影響も抑えられる。画像処理では、画素の濃淡をしきい値で白と黒に分ける処理を指す。

特徴量エンジニアリングの手法の一つで、年齢や金額のような連続値を「20代」「30代」のような区間（ビン）に分け、カテゴリに変換すること。等間隔で区切る方法や各区間の件数が等しくなるように区切る方法があり、外れ値やノイズの影響を抑え、非線形な関係を単純なモデルで扱いやすくする。区切り方によっては必要な情報が失われる。

テキスト分析の前処理で、「は」「の」「です」や英語のthe、ofのように、どの文書にも頻繁に現れて内容の判別に役立たない語（ストップワード）を取り除く処理。形態素解析で単語に分けた後、辞書や出現頻度をもとに除去して、分析の精度と効率を高める。目的によっては、否定語のように除くと意味が変わる語を残す必要がある。

機械学習のモデルの精度を高めるために、元のデータから予測に役立つ特徴量を作成・選択・変換すること。標準化、二値化、離散化、対数変換などの変換のほか、日付から曜日を取り出す、複数の項目を組み合わせるなど、業務の知識を生かした新しい特徴量の作成も含む。予測の時点では得られない情報を特徴量に含めてしまうデータリークに注意する。