交差検証

データを複数の部分集合に分割し、一部を学習データ、残りを検証データとして交互に使い、モデルの汎化性能を評価する手法。k分割交差検証（k-fold cross-validation）が代表的。

手元のデータをk個のグループに分け、そのうち1つを評価用、残りを学習用としてモデルを学習・評価することを、評価用のグループを入れ替えながらk回繰り返し、結果を平均してモデルの汎化性能を評価する方法（k分割交差検証）。1回だけ分けるホールドアウト検証より、評価のばらつきが小さい。

データを学習用とテスト用（必要なら検証用も）に1回だけ分け、学習用で作ったモデルをテスト用で評価する手法。7対3や8対2の比率で分けることが多い。手軽で計算量も少ないが、評価結果がどのデータがテスト用に入ったかに左右されるので、データが少ない場合は交差検証を使う。

学習に使っていない未知のデータに対してモデルが出す予測の誤差（の期待値）。機械学習が最終的に小さくしたいのはこの誤差で、学習に使わなかったテストデータでの誤差で見積もる。訓練誤差が小さいのに汎化誤差が大きいときは過学習を疑う。

機械学習で、予測の時点では本来使えない情報や評価用データの情報が、学習の過程に紛れ込んでしまうことで、リーケージともいう。目的変数の結果を反映した項目（解約後に付くフラグなど）を特徴量に含めるターゲットリークや、データを分割する前に全体で正規化したり同じデータが学習用と評価用の両方に入ったりする混入がある。評価が実際より高く出て本番で精度が出ないので、時間順の分割や、前処理を学習用データだけで行うことで防ぐ。

機械学習のモデルの予測誤差を構成する、モデルが単純すぎることによる偏り（バイアス）と、学習データの違いによる予測のばらつき（バリアンス）とが、一方を小さくすると他方が大きくなる関係にあること。単純なモデルは未学習になりやすく、複雑なモデルは過学習になりやすいため、両者の均衡がとれた複雑さを選ぶ。

ROC曲線の下側の面積で、2値分類のモデルの性能を、しきい値によらずに表す指標。0から1の値をとり、1に近いほど陽性と陰性をよく識別できることを示し、無作為な判定では0.5となる。不均衡なデータでのモデルの比較にも使われる。