PD-Dデータ分析・データ利活用 · データ分析・データ利活用

二値化

Binarization

にちか

特徴量エンジニアリングの手法の一つで、数値をしきい値で区切って0と1の2値に変換すること。「購入金額が1万円以上か」のように、量の大小よりも条件を満たすかどうかに意味がある場合に使い、外れ値の影響も抑えられる。画像処理では、画素の濃淡をしきい値で白と黒に分ける処理を指す。

#しきい値 #特徴量エンジニアリング #離散化

共有:

関連キーワードの用語

PD-D標準化

特徴量エンジニアリングの手法の一つで、各値から平均を引いて標準偏差で割り、平均0・分散1にそろえる変換。単位や桁の異なる特徴量を同じ尺度で比較でき、距離を使う手法（k-means法、k近傍法など）や勾配降下法による学習が安定する。最小値0・最大値1の範囲に収めるmin-max正規化と区別する。

PD-D離散化

特徴量エンジニアリングの手法の一つで、年齢や金額のような連続値を「20代」「30代」のような区間（ビン）に分け、カテゴリに変換すること。等間隔で区切る方法や各区間の件数が等しくなるように区切る方法があり、外れ値やノイズの影響を抑え、非線形な関係を単純なモデルで扱いやすくする。区切り方によっては必要な情報が失われる。

PD-D対数変換

データの値をその対数に置き換える変換。所得や売上金額のように、少数の大きな値に引っ張られて右に裾の長い分布を正規分布に近い形に整え、外れ値の影響を和らげる。掛け算の関係を足し算の関係として扱える利点もあるが、0や負の値はそのままでは変換できないため、1を加えるなどの工夫が要る。

PD-Dデータ品質ルール

データが満たすべき品質の条件を、検査できる形で定めた規則。必須項目の未入力の禁止、値の範囲や形式、項目間の整合、参照先コードの存在などを定め、しきい値とともにデータガバナンスで承認する。入力時のチェックや定期的な自動検査に組み込み、品質の低下を予防・検知する。

PD-DROC曲線

分類モデルの判定のしきい値を変えながら、横軸に偽陽性率（FP÷（FP＋TN））、縦軸に真陽性率（再現率）をとってプロットした曲線。左上に近いほど性能がよく、対角線はランダムな予測に当たる。曲線の下の面積（AUC）で、しきい値によらないモデルの識別能力を比べられる。