バイアス・バリアンスのトレードオフ

モデルの汎化誤差は、モデルが単純すぎて真の関係を捉えきれないことによるバイアスと、学習データの違いによって予測が大きくぶれるバリアンス、取り除けないノイズに分解でき、バイアスを下げようとモデルを複雑にするとバリアンスが上がるという関係。単純すぎれば未学習、複雑すぎれば過学習になるので、正則化やアンサンブル学習も使って適切な複雑さを選ぶ。

機械学習のモデルが、学習に使っていない未知のデータに対しても正しく予測できる能力。学習データだけに過度に適合した過学習の状態では汎化性能が低くなる。データを学習用と評価用に分けるホールドアウト検証や交差検証で評価し、正則化などで高める。

ニューラルネットワークの学習時に、中間層のノードの一部を一定の確率で無作為に無効化しながら学習させる手法。特定のノードへの依存を防ぎ、複数のネットワークを組み合わせたような効果が得られるため、過学習を抑えられる。推論時はすべてのノードを使う。

学習に使っていない未知のデータに対してモデルが出す予測の誤差（の期待値）。機械学習が最終的に小さくしたいのはこの誤差で、学習に使わなかったテストデータでの誤差で見積もる。訓練誤差が小さいのに汎化誤差が大きいときは過学習を疑う。

損失関数に、重みの二乗の和に係数を掛けた罰則項を加える正則化。重みを全体に小さく抑えて滑らかなモデルにし、過学習を防ぐが、L1正則化と違って重みはちょうど0にはなりにくい。線形回帰に適用したものをリッジ（Ridge）回帰といい、ニューラルネットワークでは荷重減衰（weight decay）とも呼ぶ。

手元のデータをk個のグループに分け、そのうち1つを評価用、残りを学習用としてモデルを学習・評価することを、評価用のグループを入れ替えながらk回繰り返し、結果を平均してモデルの汎化性能を評価する方法（k分割交差検証）。1回だけ分けるホールドアウト検証より、評価のばらつきが小さい。

手元のデータを学習用と評価用（テスト用）に一度だけ分割し、学習用のデータで作ったモデルの性能を、学習に使っていない評価用のデータで測る方法。手軽で計算量が少ないが、分割の仕方によって評価の結果がばらつきやすく、データが少ないと信頼性が下がる。