交差検証

データを複数の部分集合に分割し、一部を学習データ、残りを検証データとして交互に使い、モデルの汎化性能を評価する手法。k分割交差検証（k-fold cross-validation）が代表的。

データをk個に分け、1つを検証用、残りを学習用にしてモデルを評価する操作を、検証用を入れ替えながらk回繰り返し、その平均で性能を見積もる手法（k分割交差検証）。1回だけ分けるホールドアウト検証より評価が分け方に左右されにくく、データが少ない場合にも使える。時系列データでは未来のデータで学習しないよう、時間順に分ける必要がある。

手元のデータを学習用と評価用（テスト用）に一度だけ分割し、学習用のデータで作ったモデルの性能を、学習に使っていない評価用のデータで測る方法。手軽で計算量が少ないが、分割の仕方によって評価の結果がばらつきやすく、データが少ないと信頼性が下がる。

機械学習のモデルの予測誤差を構成する、モデルが単純すぎることによる偏り（バイアス）と、学習データの違いによる予測のばらつき（バリアンス）とが、一方を小さくすると他方が大きくなる関係にあること。単純なモデルは未学習になりやすく、複雑なモデルは過学習になりやすいため、両者の均衡がとれた複雑さを選ぶ。

ROC曲線の下側の面積で、2値分類のモデルの性能を、しきい値によらずに表す指標。0から1の値をとり、1に近いほど陽性と陰性をよく識別できることを示し、無作為な判定では0.5となる。不均衡なデータでのモデルの比較にも使われる。

学習に使っていない未知のデータに対してモデルが出す予測の誤差（の期待値）。機械学習が最終的に小さくしたいのはこの誤差で、学習に使わなかったテストデータでの誤差で見積もる。訓練誤差が小さいのに汎化誤差が大きいときは過学習を疑う。

機械学習で、予測の時点では本来使えない情報や評価用データの情報が、学習の過程に紛れ込んでしまうことで、リーケージともいう。目的変数の結果を反映した項目（解約後に付くフラグなど）を特徴量に含めるターゲットリークや、データを分割する前に全体で正規化したり同じデータが学習用と評価用の両方に入ったりする混入がある。評価が実際より高く出て本番で精度が出ないので、時間順の分割や、前処理を学習用データだけで行うことで防ぐ。