ドロップアウト

ニューラルネットワークの学習時に、中間層のノードの一部を一定の確率で無作為に無効化しながら学習させる手法。特定のノードへの依存を防ぎ、複数のネットワークを組み合わせたような効果が得られるため、過学習を抑えられる。推論時はすべてのノードを使う。

損失関数に、重みの二乗の和に係数を掛けた罰則項を加える正則化。重みを全体に小さく抑えて滑らかなモデルにし、過学習を防ぐが、L1正則化と違って重みはちょうど0にはなりにくい。線形回帰に適用したものをリッジ（Ridge）回帰といい、ニューラルネットワークでは荷重減衰（weight decay）とも呼ぶ。

機械学習のモデルが、学習に使っていない未知のデータに対しても正しく予測できる能力。学習データだけに過度に適合した過学習の状態では汎化性能が低くなる。データを学習用と評価用に分けるホールドアウト検証や交差検証で評価し、正則化などで高める。

機械学習のモデルの予測誤差を構成する、モデルが単純すぎることによる偏り（バイアス）と、学習データの違いによる予測のばらつき（バリアンス）とが、一方を小さくすると他方が大きくなる関係にあること。単純なモデルは未学習になりやすく、複雑なモデルは過学習になりやすいため、両者の均衡がとれた複雑さを選ぶ。

特徴量に関する条件で、データを木の形に繰り返し分岐させて予測を行う機械学習のモデル。各分岐では、ジニ不純度やエントロピー（情報利得）が最もよく減る特徴量と分割点を選び、分類にも回帰にも使える。判断の根拠を人が読み取りやすい一方、深く育てると過学習しやすいので深さの制限や枝刈りを行い、ランダムフォレストや勾配ブースティングの基本の部品になる。

バギングの考え方で多数の決定木を学習し、分類では多数決、回帰では平均で予測するアンサンブル学習の手法。各決定木は、ブートストラップ標本（重複を許して抽出したデータ）を使い、分岐ごとにランダムに選んだ一部の特徴量だけから分割を選ぶので、木どうしの相関が下がりバリアンスが減る。過学習しにくく、特徴量の重要度も求められる。

学習データから重複を許して無作為に抽出したブートストラップ標本を複数作り、それぞれで同じ種類のモデルを並列に学習して、予測を多数決や平均で統合するアンサンブル学習の手法。Bootstrap Aggregatingの略。個々のモデルのばらつき（バリアンス）を打ち消して過学習を抑える効果があり、決定木と組み合わせたランダムフォレストが代表例である。