ホールドアウト検証

手持ちのデータを学習用と評価用に一度だけ分割して、モデルの性能を確かめる方法。手軽だが分割の仕方によって結果がぶれやすい。分割を変えて繰り返す交差検証のほうが安定した評価が得られる。

データを学習用とテスト用（必要なら検証用も）に1回だけ分け、学習用で作ったモデルをテスト用で評価する手法。7対3や8対2の比率で分けることが多い。手軽で計算量も少ないが、評価結果がどのデータがテスト用に入ったかに左右されるので、データが少ない場合は交差検証を使う。

手元のデータをk個のグループに分け、そのうち1つを評価用、残りを学習用としてモデルを学習・評価することを、評価用のグループを入れ替えながらk回繰り返し、結果を平均してモデルの汎化性能を評価する方法（k分割交差検証）。1回だけ分けるホールドアウト検証より、評価のばらつきが小さい。

学習に使っていない未知のデータに対してモデルが出す予測の誤差（の期待値）。機械学習が最終的に小さくしたいのはこの誤差で、学習に使わなかったテストデータでの誤差で見積もる。訓練誤差が小さいのに汎化誤差が大きいときは過学習を疑う。

機械学習のモデルが、学習に使っていない未知のデータに対しても正しく予測できる能力。学習データだけに過度に適合した過学習の状態では汎化性能が低くなる。データを学習用と評価用に分けるホールドアウト検証や交差検証で評価し、正則化などで高める。

ハイパーパラメータの最適な値を探す手法の一つで、各ハイパーパラメータの候補値を格子状に組み合わせ、そのすべての組合せについて学習と評価を行って、最も性能のよい組合せを選ぶ方法。網羅的で確実だが、ハイパーパラメータの数が増えると計算量が急激に増える。

機械学習のモデルの予測誤差を構成する、モデルが単純すぎることによる偏り（バイアス）と、学習データの違いによる予測のばらつき（バリアンス）とが、一方を小さくすると他方が大きくなる関係にあること。単純なモデルは未学習になりやすく、複雑なモデルは過学習になりやすいため、両者の均衡がとれた複雑さを選ぶ。

ROC曲線の下側の面積で、2値分類のモデルの性能を、しきい値によらずに表す指標。0から1の値をとり、1に近いほど陽性と陰性をよく識別できることを示し、無作為な判定では0.5となる。不均衡なデータでのモデルの比較にも使われる。