ランダムフォレスト

複数の決定木を組み合わせて予測精度を向上させるアンサンブル学習手法。各決定木はデータと特徴量をランダムに抽出して構築し、多数決や平均で最終予測を行う。過学習に強い特徴を持つ。

アンサンブル学習の手法の一つで、学習データと特徴量をそれぞれ無作為に抽出して多数の決定木を作り、各決定木の予測の多数決（分類）や平均（回帰）で最終的な予測を行う。個々の決定木の過学習の影響が打ち消され、精度が高く安定する。特徴量の重要度も求められる。

特徴量に関する条件で、データを木の形に繰り返し分岐させて予測を行う機械学習のモデル。各分岐では、ジニ不純度やエントロピー（情報利得）が最もよく減る特徴量と分割点を選び、分類にも回帰にも使える。判断の根拠を人が読み取りやすい一方、深く育てると過学習しやすいので深さの制限や枝刈りを行い、ランダムフォレストや勾配ブースティングの基本の部品になる。

複数のモデルを組み合わせ、それぞれの予測を多数決や平均でまとめることで、単独のモデルより高い精度と安定性を得る手法。データの一部をランダムに選んで並列に学習するバギング、前のモデルの誤りを次のモデルが補うよう逐次に学習するブースティング、複数のモデルの予測を別のモデルで統合するスタッキングがある。

学習データから重複を許して無作為に抽出したブートストラップ標本を複数作り、それぞれで同じ種類のモデルを並列に学習して、予測を多数決や平均で統合するアンサンブル学習の手法。Bootstrap Aggregatingの略。個々のモデルのばらつき（バリアンス）を打ち消して過学習を抑える効果があり、決定木と組み合わせたランダムフォレストが代表例である。

弱い学習器を逐次に作り、前の学習器が誤ったデータを重視したり、前までの予測の残差（誤差の勾配）を次の学習器に学習させたりして、全体を強い学習器にしていくアンサンブル学習の手法。誤分類したデータの重みを上げるAdaBoost、勾配ブースティングとその実装のXGBoostやLightGBMがある。主にバイアスを減らして高い精度を出せるが、逐次に学習するので並列化しにくく、ノイズに過学習しやすい。

種類の異なる複数のモデル（ベースモデル）の予測値を特徴量として、別のモデル（メタモデル）に学習させ、最終的な予測を行うアンサンブル学習の手法。モデルごとの得意・不得意を組み合わせられる。ベースモデルの予測には、交差検証で学習に使っていないデータに対して出した予測（アウトオブフォールド予測）を使い、データリークを防ぐ。

ニューラルネットワークの学習中に、隠れ層などのユニットを一定の確率でランダムに無効にして学習する正則化の手法。特定のユニットに頼った学習を防ぎ、毎回異なる小さなネットワークを学習して平均するアンサンブルに近い効果で過学習を抑える。推論時はすべてのユニットを使い、出力の大きさを無効化の割合に合わせて補正する。