L2正則化

ニューラルネットワークの学習中に、隠れ層などのユニットを一定の確率でランダムに無効にして学習する正則化の手法。特定のユニットに頼った学習を防ぎ、毎回異なる小さなネットワークを学習して平均するアンサンブルに近い効果で過学習を抑える。推論時はすべてのユニットを使い、出力の大きさを無効化の割合に合わせて補正する。

機械学習のモデルが、学習に使っていない未知のデータに対しても正しく予測できる能力。学習データだけに過度に適合した過学習の状態では汎化性能が低くなる。データを学習用と評価用に分けるホールドアウト検証や交差検証で評価し、正則化などで高める。

機械学習のモデルの予測誤差を構成する、モデルが単純すぎることによる偏り（バイアス）と、学習データの違いによる予測のばらつき（バリアンス）とが、一方を小さくすると他方が大きくなる関係にあること。単純なモデルは未学習になりやすく、複雑なモデルは過学習になりやすいため、両者の均衡がとれた複雑さを選ぶ。

目的変数を、説明変数（特徴量）に重みを掛けて足し合わせた1次式（と切片）で予測する回帰のモデル。予測値と実測値の誤差の二乗和を最小にする最小二乗法で重みを求め、説明変数が1つなら単回帰、複数なら重回帰に当たる。重みから各特徴量の影響を解釈しやすい反面、非線形の関係は表せず、過学習を抑えるためにL2正則化（リッジ回帰）やL1正則化（ラッソ回帰）を加えることがある。

特徴量の次元が増えると、データが空間内でまばらになり、同じ密度でデータを集めるのに必要なデータ量が次元に対して指数的に増えるなど、学習や分析が急に難しくなる現象。点どうしの距離の差が小さくなって距離に基づく手法が効きにくくなり、過学習も起きやすい。次元削減や特徴選択で対処する。

学習に使っていない未知のデータに対してモデルが出す予測の誤差（の期待値）。機械学習が最終的に小さくしたいのはこの誤差で、学習に使わなかったテストデータでの誤差で見積もる。訓練誤差が小さいのに汎化誤差が大きいときは過学習を疑う。