アンサンブル学習

複数の学習モデルを組み合わせ、それらの予測を多数決や平均などで統合して、単独のモデルより高い精度と安定性を得る手法。データを復元抽出して並列に学習させるバギング（ランダムフォレストなど）と、前のモデルの誤りを補うように順に学習させるブースティング（勾配ブースティングなど）が代表的である。

バギングの考え方で多数の決定木を学習し、分類では多数決、回帰では平均で予測するアンサンブル学習の手法。各決定木は、ブートストラップ標本（重複を許して抽出したデータ）を使い、分岐ごとにランダムに選んだ一部の特徴量だけから分割を選ぶので、木どうしの相関が下がりバリアンスが減る。過学習しにくく、特徴量の重要度も求められる。

学習データから重複を許して無作為に抽出したブートストラップ標本を複数作り、それぞれで同じ種類のモデルを並列に学習して、予測を多数決や平均で統合するアンサンブル学習の手法。Bootstrap Aggregatingの略。個々のモデルのばらつき（バリアンス）を打ち消して過学習を抑える効果があり、決定木と組み合わせたランダムフォレストが代表例である。

データを特徴量の条件で繰り返し分岐させた木構造のモデルで、分類や回帰を行う機械学習の手法。分岐の基準にはジニ不純度や情報利得（エントロピーの減少）を使う。判断の過程が分かりやすく説明性が高いが、過学習しやすいため、ランダムフォレストなどのアンサンブル学習の基礎として使われる。