アンサンブル学習

複数のモデルを組み合わせ、それぞれの予測を多数決や平均でまとめることで、単独のモデルより高い精度と安定性を得る手法。データの一部をランダムに選んで並列に学習するバギング、前のモデルの誤りを次のモデルが補うよう逐次に学習するブースティング、複数のモデルの予測を別のモデルで統合するスタッキングがある。

データを特徴量の条件で繰り返し分岐させた木構造のモデルで、分類や回帰を行う機械学習の手法。分岐の基準にはジニ不純度や情報利得（エントロピーの減少）を使う。判断の過程が分かりやすく説明性が高いが、過学習しやすいため、ランダムフォレストなどのアンサンブル学習の基礎として使われる。

アンサンブル学習の手法の一つで、学習データと特徴量をそれぞれ無作為に抽出して多数の決定木を作り、各決定木の予測の多数決（分類）や平均（回帰）で最終的な予測を行う。個々の決定木の過学習の影響が打ち消され、精度が高く安定する。特徴量の重要度も求められる。

学習データから重複を許して無作為に抽出したブートストラップ標本を複数作り、それぞれで同じ種類のモデルを並列に学習して、予測を多数決や平均で統合するアンサンブル学習の手法。Bootstrap Aggregatingの略。個々のモデルのばらつき（バリアンス）を打ち消して過学習を抑える効果があり、決定木と組み合わせたランダムフォレストが代表例である。