PR曲線
Precision-Recall Curve
ぴーあーるきょくせん
分類モデルの判定のしきい値を変えながら、横軸に再現率、縦軸に適合率をとってプロットした曲線で、右上に近いほど性能がよい。陰性が大多数を占める不均衡なデータでは、ROC曲線が楽観的な形になりやすいのに対し、PR曲線は陽性の検出の難しさを反映するので、不正検知などの評価に向く。曲線の下の面積を平均適合率(AP)という。
Related
関連キーワードの用語
適合率と再現率の調和平均で、2×適合率×再現率÷(適合率+再現率)で求める分類モデルの評価指標。F1スコアともいう。どちらか一方が低いと値が大きく下がるので、両者の釣り合いを1つの数値で評価でき、クラスの偏ったデータで正解率の代わりに使われる。
分類モデルの評価指標の一つで、全データのうち予測が正解と一致した割合。混同行列では(TP+TN)÷(TP+TN+FP+FN)で求める。直感的に分かりやすいが、陽性が1%しかないデータでは全件を陰性と予測しても99%になるように、クラスの偏ったデータでは性能を正しく表さないので、適合率や再現率と併せて見る。
分類モデルが陽性と予測したもののうち、実際に陽性だったものの割合。TP÷(TP+FP)で求め、誤検知(偽陽性)のコストが大きい場面、例えば正常なメールを迷惑メールと判定したくない場合に重視する。判定のしきい値を上げると一般に適合率は上がり、再現率は下がる。
実際に陽性であるもののうち、分類モデルが正しく陽性と予測できたものの割合。TP÷(TP+FN)で求め、感度や真陽性率ともいい、見逃し(偽陰性)のコストが大きい病気の検査や不正取引の検知で重視する。しきい値を下げると再現率は上がるが、適合率は下がりやすい。
ROC曲線の下側の面積で、分類モデルの性能をしきい値によらずに表す評価指標。0から1の値をとり、1に近いほどよく0.5はランダムな予測に当たり、無作為に選んだ陽性のデータに、陰性のデータより高いスコアを付ける確率と解釈できる。陽性が極めて少ないデータでは、PR曲線の下の面積も併せて見る。
2クラス分類のモデルで、正例と判定するしきい値を変化させたときの、偽陽性率を横軸、真陽性率(再現率)を縦軸にとって描いた曲線。曲線が左上に寄るほど性能が高く、曲線の下の面積(AUC)でモデルを比較する。
