汎化性能

機械学習のモデルが、学習に使っていない未知のデータに対しても正しく予測できる能力。汎化とも呼ぶ。学習データだけに過度に適合した過学習の状態では汎化性能が低くなる。学習データとテストデータを分けて評価するのは、この汎化性能を測るためである。

機械学習のモデルの予測誤差を構成する、モデルが単純すぎることによる偏り（バイアス）と、学習データの違いによる予測のばらつき（バリアンス）とが、一方を小さくすると他方が大きくなる関係にあること。単純なモデルは未学習になりやすく、複雑なモデルは過学習になりやすいため、両者の均衡がとれた複雑さを選ぶ。

ニューラルネットワークの学習時に、中間層のノードの一部を一定の確率で無作為に無効化しながら学習させる手法。特定のノードへの依存を防ぎ、複数のネットワークを組み合わせたような効果が得られるため、過学習を抑えられる。推論時はすべてのノードを使う。

損失関数に、重みの二乗の和に係数を掛けた罰則項を加える正則化。重みを全体に小さく抑えて滑らかなモデルにし、過学習を防ぐが、L1正則化と違って重みはちょうど0にはなりにくい。線形回帰に適用したものをリッジ（Ridge）回帰といい、ニューラルネットワークでは荷重減衰（weight decay）とも呼ぶ。

ハイパーパラメータの最適な値を探す手法の一つで、各ハイパーパラメータの候補値を格子状に組み合わせ、そのすべての組合せについて学習と評価を行って、最も性能のよい組合せを選ぶ方法。網羅的で確実だが、ハイパーパラメータの数が増えると計算量が急激に増える。

手元のデータを学習用と評価用（テスト用）に一度だけ分割し、学習用のデータで作ったモデルの性能を、学習に使っていない評価用のデータで測る方法。手軽で計算量が少ないが、分割の仕方によって評価の結果がばらつきやすく、データが少ないと信頼性が下がる。

機械学習で過学習を防ぐため、モデルが複雑になりすぎないように制約を加える手法の総称。損失関数に重みの大きさに応じた罰則項を加えるL1正則化（Lasso）やL2正則化（Ridge）が代表的で、ニューラルネットワークではドロップアウトも正則化の一つとして使われる。