バイアス・バリアンスのトレードオフ

機械学習のモデルの予測誤差を構成する、モデルが単純すぎることによる偏り（バイアス）と、学習データの違いによる予測のばらつき（バリアンス）とが、一方を小さくすると他方が大きくなる関係にあること。単純なモデルは未学習になりやすく、複雑なモデルは過学習になりやすいため、両者の均衡がとれた複雑さを選ぶ。

学習に使ったデータ（訓練データ）に対してモデルが出す予測の誤差。モデルを複雑にするほど小さくなるが、訓練データに過度に合わせても未知のデータでの性能（汎化誤差）は改善しないので、それだけでモデルのよさは判断できない。訓練誤差も大きい場合は未学習、訓練誤差だけが小さい場合は過学習を示す。

特徴量の次元が増えると、データが空間内でまばらになり、同じ密度でデータを集めるのに必要なデータ量が次元に対して指数的に増えるなど、学習や分析が急に難しくなる現象。点どうしの距離の差が小さくなって距離に基づく手法が効きにくくなり、過学習も起きやすい。次元削減や特徴選択で対処する。

学習に使っていない未知のデータに対してモデルが出す予測の誤差（の期待値）。機械学習が最終的に小さくしたいのはこの誤差で、学習に使わなかったテストデータでの誤差で見積もる。訓練誤差が小さいのに汎化誤差が大きいときは過学習を疑う。

モデルが学習データに過度に適合する過学習を防ぎ、汎化性能を高めるための手法の総称。損失関数に重みの大きさに応じた罰則項を加えるL1正則化・L2正則化が代表的で、ニューラルネットワークではドロップアウト、検証用データの誤差が増え始めたら学習を止める早期終了（アーリーストッピング）、データ拡張なども正則化として使われる。

ニューラルネットワークの学習中に、隠れ層などのユニットを一定の確率でランダムに無効にして学習する正則化の手法。特定のユニットに頼った学習を防ぎ、毎回異なる小さなネットワークを学習して平均するアンサンブルに近い効果で過学習を抑える。推論時はすべてのユニットを使い、出力の大きさを無効化の割合に合わせて補正する。

損失関数に、重みの二乗の和に係数を掛けた罰則項を加える正則化。重みを全体に小さく抑えて滑らかなモデルにし、過学習を防ぐが、L1正則化と違って重みはちょうど0にはなりにくい。線形回帰に適用したものをリッジ（Ridge）回帰といい、ニューラルネットワークでは荷重減衰（weight decay）とも呼ぶ。