スタッキング

特徴量に関する条件で、データを木の形に繰り返し分岐させて予測を行う機械学習のモデル。各分岐では、ジニ不純度やエントロピー（情報利得）が最もよく減る特徴量と分割点を選び、分類にも回帰にも使える。判断の根拠を人が読み取りやすい一方、深く育てると過学習しやすいので深さの制限や枝刈りを行い、ランダムフォレストや勾配ブースティングの基本の部品になる。

バギングの考え方で多数の決定木を学習し、分類では多数決、回帰では平均で予測するアンサンブル学習の手法。各決定木は、ブートストラップ標本（重複を許して抽出したデータ）を使い、分岐ごとにランダムに選んだ一部の特徴量だけから分割を選ぶので、木どうしの相関が下がりバリアンスが減る。過学習しにくく、特徴量の重要度も求められる。

ハイパーパラメータの探索で、各ハイパーパラメータの候補値を格子状に並べ、すべての組合せを試して最も性能のよいものを選ぶ方法。網羅的で再現しやすいが、ハイパーパラメータの数が増えると組合せの数が指数的に増え、計算コストが大きくなる。各組合せの評価には交差検証を使うことが多い。

データを学習用とテスト用（必要なら検証用も）に1回だけ分け、学習用で作ったモデルをテスト用で評価する手法。7対3や8対2の比率で分けることが多い。手軽で計算量も少ないが、評価結果がどのデータがテスト用に入ったかに左右されるので、データが少ない場合は交差検証を使う。

学習データから重複を許して無作為に抽出したブートストラップ標本を複数作り、それぞれで同じ種類のモデルを並列に学習して、予測を多数決や平均で統合するアンサンブル学習の手法。Bootstrap Aggregatingの略。個々のモデルのばらつき（バリアンス）を打ち消して過学習を抑える効果があり、決定木と組み合わせたランダムフォレストが代表例である。

弱い学習器を逐次に作り、前の学習器が誤ったデータを重視したり、前までの予測の残差（誤差の勾配）を次の学習器に学習させたりして、全体を強い学習器にしていくアンサンブル学習の手法。誤分類したデータの重みを上げるAdaBoost、勾配ブースティングとその実装のXGBoostやLightGBMがある。主にバイアスを減らして高い精度を出せるが、逐次に学習するので並列化しにくく、ノイズに過学習しやすい。