正則化

モデルが学習データに過度に適合する過学習を防ぎ、汎化性能を高めるための手法の総称。損失関数に重みの大きさに応じた罰則項を加えるL1正則化・L2正則化が代表的で、ニューラルネットワークではドロップアウト、検証用データの誤差が増え始めたら学習を止める早期終了（アーリーストッピング）、データ拡張なども正則化として使われる。

機械学習のモデルが、学習に使っていない未知のデータに対しても正しく予測できる能力。学習データだけに過度に適合した過学習の状態では汎化性能が低くなる。データを学習用と評価用に分けるホールドアウト検証や交差検証で評価し、正則化などで高める。

機械学習のモデルの予測誤差を構成する、モデルが単純すぎることによる偏り（バイアス）と、学習データの違いによる予測のばらつき（バリアンス）とが、一方を小さくすると他方が大きくなる関係にあること。単純なモデルは未学習になりやすく、複雑なモデルは過学習になりやすいため、両者の均衡がとれた複雑さを選ぶ。

ニューラルネットワークの学習時に、中間層のノードの一部を一定の確率で無作為に無効化しながら学習させる手法。特定のノードへの依存を防ぎ、複数のネットワークを組み合わせたような効果が得られるため、過学習を抑えられる。推論時はすべてのノードを使う。

特徴量の次元が増えると、データが空間内でまばらになり、同じ密度でデータを集めるのに必要なデータ量が次元に対して指数的に増えるなど、学習や分析が急に難しくなる現象。点どうしの距離の差が小さくなって距離に基づく手法が効きにくくなり、過学習も起きやすい。次元削減や特徴選択で対処する。

学習に使っていない未知のデータに対してモデルが出す予測の誤差（の期待値）。機械学習が最終的に小さくしたいのはこの誤差で、学習に使わなかったテストデータでの誤差で見積もる。訓練誤差が小さいのに汎化誤差が大きいときは過学習を疑う。

学習に使ったデータ（訓練データ）に対してモデルが出す予測の誤差。モデルを複雑にするほど小さくなるが、訓練データに過度に合わせても未知のデータでの性能（汎化誤差）は改善しないので、それだけでモデルのよさは判断できない。訓練誤差も大きい場合は未学習、訓練誤差だけが小さい場合は過学習を示す。