情報の組織化

教師あり学習で扱う問題の一つで、入力データから売上高や気温などの連続的な数値を予測すること。線形回帰、決定木、ニューラルネットワークなどの手法が使われ、予測値と正解値の誤差（平均二乗誤差など）でモデルを評価する。カテゴリを予測する分類と対比される。

説明変数の一次式をシグモイド関数で0から1の値に変換し、ある事象が起きる確率を予測する手法。名前に回帰とあるが、主に購入するか否か、合格か不合格かといった2値の分類に使われ、確率がしきい値を超えるかでクラスを判定する。係数から各変数の影響の大きさを解釈しやすい。

2値分類のモデルで、陽性と判定するしきい値を変えたときの、偽陽性率（横軸）と真陽性率（縦軸）の組を結んだ曲線。曲線が左上に寄るほど性能が高く、曲線の下側の面積であるAUCでモデルを比較する。ROCはReceiver Operating Characteristicの略。

入力データと、それに対応する正解（ラベル）の組を大量に与えて、入力から正解を予測する規則をモデルに学習させる機械学習の手法。数値を予測する回帰と、カテゴリを予測する分類が代表的で、正解ラベルを付けたデータの準備に手間がかかる。

分類の境界線（超平面）と、それに最も近いデータ点（サポートベクトル）との距離（マージン）が最大になるように境界を決める教師あり学習の手法。カーネル法を使うと、データを高次元の空間に写して非線形の分類にも対応できる。少ないデータでも汎化性能が高い。

ROC曲線の下側の面積で、2値分類のモデルの性能を、しきい値によらずに表す指標。0から1の値をとり、1に近いほど陽性と陰性をよく識別できることを示し、無作為な判定では0.5となる。不均衡なデータでのモデルの比較にも使われる。