汎化誤差

データを学習用とテスト用（必要なら検証用も）に1回だけ分け、学習用で作ったモデルをテスト用で評価する手法。7対3や8対2の比率で分けることが多い。手軽で計算量も少ないが、評価結果がどのデータがテスト用に入ったかに左右されるので、データが少ない場合は交差検証を使う。

機械学習のモデルの予測誤差を構成する、モデルが単純すぎることによる偏り（バイアス）と、学習データの違いによる予測のばらつき（バリアンス）とが、一方を小さくすると他方が大きくなる関係にあること。単純なモデルは未学習になりやすく、複雑なモデルは過学習になりやすいため、両者の均衡がとれた複雑さを選ぶ。

データの一部または全部を記号や別の値に置き換えて、元の値を読み取れないようにする処理。クレジットカード番号の一部を「*」で隠す、本番データを開発・テストに使う際に氏名を架空の値に置き換えるなどがある。形式や分析上の性質を保ったまま秘匿でき、機密レベルに応じた提供データの秘匿化に使う。

データをk個に分け、1つを検証用、残りを学習用にしてモデルを評価する操作を、検証用を入れ替えながらk回繰り返し、その平均で性能を見積もる手法（k分割交差検証）。1回だけ分けるホールドアウト検証より評価が分け方に左右されにくく、データが少ない場合にも使える。時系列データでは未来のデータで学習しないよう、時間順に分ける必要がある。

特徴量の次元が増えると、データが空間内でまばらになり、同じ密度でデータを集めるのに必要なデータ量が次元に対して指数的に増えるなど、学習や分析が急に難しくなる現象。点どうしの距離の差が小さくなって距離に基づく手法が効きにくくなり、過学習も起きやすい。次元削減や特徴選択で対処する。

学習に使ったデータ（訓練データ）に対してモデルが出す予測の誤差。モデルを複雑にするほど小さくなるが、訓練データに過度に合わせても未知のデータでの性能（汎化誤差）は改善しないので、それだけでモデルのよさは判断できない。訓練誤差も大きい場合は未学習、訓練誤差だけが小さい場合は過学習を示す。