ランダムフォレスト

複数の決定木を組み合わせて予測精度を向上させるアンサンブル学習手法。各決定木はデータと特徴量をランダムに抽出して構築し、多数決や平均で最終予測を行う。過学習に強い特徴を持つ。

バギングの考え方で多数の決定木を学習し、分類では多数決、回帰では平均で予測するアンサンブル学習の手法。各決定木は、ブートストラップ標本（重複を許して抽出したデータ）を使い、分岐ごとにランダムに選んだ一部の特徴量だけから分割を選ぶので、木どうしの相関が下がりバリアンスが減る。過学習しにくく、特徴量の重要度も求められる。

AIモデルが全体としてどのような傾向で判断しているかを説明する方法。どの特徴量が予測全体に強く影響しているかを示す特徴量の重要度や、複雑なモデルを近似した単純なモデルを示すといった手法がある。個々の予測の根拠を示す局所説明と対になる。

複数の学習モデルを組み合わせ、それらの予測を多数決や平均などで統合して、単独のモデルより高い精度と安定性を得る手法。データを復元抽出して並列に学習させるバギング（ランダムフォレストなど）と、前のモデルの誤りを補うように順に学習させるブースティング（勾配ブースティングなど）が代表的である。

特徴量に関する条件で、データを木の形に繰り返し分岐させて予測を行う機械学習のモデル。各分岐では、ジニ不純度やエントロピー（情報利得）が最もよく減る特徴量と分割点を選び、分類にも回帰にも使える。判断の根拠を人が読み取りやすい一方、深く育てると過学習しやすいので深さの制限や枝刈りを行い、ランダムフォレストや勾配ブースティングの基本の部品になる。

学習データから重複を許して無作為に抽出したブートストラップ標本を複数作り、それぞれで同じ種類のモデルを並列に学習して、予測を多数決や平均で統合するアンサンブル学習の手法。Bootstrap Aggregatingの略。個々のモデルのばらつき（バリアンス）を打ち消して過学習を抑える効果があり、決定木と組み合わせたランダムフォレストが代表例である。

弱い学習器を逐次に作り、前の学習器が誤ったデータを重視したり、前までの予測の残差（誤差の勾配）を次の学習器に学習させたりして、全体を強い学習器にしていくアンサンブル学習の手法。誤分類したデータの重みを上げるAdaBoost、勾配ブースティングとその実装のXGBoostやLightGBMがある。主にバイアスを減らして高い精度を出せるが、逐次に学習するので並列化しにくく、ノイズに過学習しやすい。

種類の異なる複数のモデル（ベースモデル）の予測値を特徴量として、別のモデル（メタモデル）に学習させ、最終的な予測を行うアンサンブル学習の手法。モデルごとの得意・不得意を組み合わせられる。ベースモデルの予測には、交差検証で学習に使っていないデータに対して出した予測（アウトオブフォールド予測）を使い、データリークを防ぐ。