ホールドアウト検証

手持ちのデータを学習用と評価用に一度だけ分割して、モデルの性能を確かめる方法。手軽だが分割の仕方によって結果がぶれやすい。分割を変えて繰り返す交差検証のほうが安定した評価が得られる。

手元のデータを学習用と評価用（テスト用）に一度だけ分割し、学習用のデータで作ったモデルの性能を、学習に使っていない評価用のデータで測る方法。手軽で計算量が少ないが、分割の仕方によって評価の結果がばらつきやすく、データが少ないと信頼性が下がる。

データをk個に分け、1つを検証用、残りを学習用にしてモデルを評価する操作を、検証用を入れ替えながらk回繰り返し、その平均で性能を見積もる手法（k分割交差検証）。1回だけ分けるホールドアウト検証より評価が分け方に左右されにくく、データが少ない場合にも使える。時系列データでは未来のデータで学習しないよう、時間順に分ける必要がある。

学習に使っていない未知のデータに対してモデルが出す予測の誤差（の期待値）。機械学習が最終的に小さくしたいのはこの誤差で、学習に使わなかったテストデータでの誤差で見積もる。訓練誤差が小さいのに汎化誤差が大きいときは過学習を疑う。

データの一部または全部を記号や別の値に置き換えて、元の値を読み取れないようにする処理。クレジットカード番号の一部を「*」で隠す、本番データを開発・テストに使う際に氏名を架空の値に置き換えるなどがある。形式や分析上の性質を保ったまま秘匿でき、機密レベルに応じた提供データの秘匿化に使う。

ハイパーパラメータの探索で、各ハイパーパラメータの候補値を格子状に並べ、すべての組合せを試して最も性能のよいものを選ぶ方法。網羅的で再現しやすいが、ハイパーパラメータの数が増えると組合せの数が指数的に増え、計算コストが大きくなる。各組合せの評価には交差検証を使うことが多い。

種類の異なる複数のモデル（ベースモデル）の予測値を特徴量として、別のモデル（メタモデル）に学習させ、最終的な予測を行うアンサンブル学習の手法。モデルごとの得意・不得意を組み合わせられる。ベースモデルの予測には、交差検証で学習に使っていないデータに対して出した予測（アウトオブフォールド予測）を使い、データリークを防ぐ。

機械学習で、予測の時点では本来使えない情報や評価用データの情報が、学習の過程に紛れ込んでしまうことで、リーケージともいう。目的変数の結果を反映した項目（解約後に付くフラグなど）を特徴量に含めるターゲットリークや、データを分割する前に全体で正規化したり同じデータが学習用と評価用の両方に入ったりする混入がある。評価が実際より高く出て本番で精度が出ないので、時間順の分割や、前処理を学習用データだけで行うことで防ぐ。