L1正則化

多数の特徴量（次元）を持つデータを、元の情報をできるだけ保ったまま少ない次元で表すこと。有用な特徴量を選ぶ特徴選択と、主成分分析やオートエンコーダのように新しい少数の特徴量を作る特徴抽出がある。次元の呪いの緩和、計算量の削減、2次元・3次元への可視化（t-SNE、UMAPなど）に使う。

特徴量の次元が増えると、データが空間内でまばらになり、同じ密度でデータを集めるのに必要なデータ量が次元に対して指数的に増えるなど、学習や分析が急に難しくなる現象。点どうしの距離の差が小さくなって距離に基づく手法が効きにくくなり、過学習も起きやすい。次元削減や特徴選択で対処する。

ニューラルネットワークの学習中に、隠れ層などのユニットを一定の確率でランダムに無効にして学習する正則化の手法。特定のユニットに頼った学習を防ぎ、毎回異なる小さなネットワークを学習して平均するアンサンブルに近い効果で過学習を抑える。推論時はすべてのユニットを使い、出力の大きさを無効化の割合に合わせて補正する。

損失関数に、重みの二乗の和に係数を掛けた罰則項を加える正則化。重みを全体に小さく抑えて滑らかなモデルにし、過学習を防ぐが、L1正則化と違って重みはちょうど0にはなりにくい。線形回帰に適用したものをリッジ（Ridge）回帰といい、ニューラルネットワークでは荷重減衰（weight decay）とも呼ぶ。

機械学習のモデルが、学習に使っていない未知のデータに対しても正しく予測できる能力。学習データだけに過度に適合した過学習の状態では汎化性能が低くなる。データを学習用と評価用に分けるホールドアウト検証や交差検証で評価し、正則化などで高める。

機械学習のモデルの予測誤差を構成する、モデルが単純すぎることによる偏り（バイアス）と、学習データの違いによる予測のばらつき（バリアンス）とが、一方を小さくすると他方が大きくなる関係にあること。単純なモデルは未学習になりやすく、複雑なモデルは過学習になりやすいため、両者の均衡がとれた複雑さを選ぶ。