決定木

データの特徴量や条件に基づいて分岐を木構造で表現し、分類・回帰・意思決定を行う手法。結果の解釈が容易で可視化しやすい。機械学習ではランダムフォレストの基礎となり、意思決定分析では期待値やリスクの評価に用いられる。

特徴量に基づく条件分岐を木構造で表現し、分類や回帰を行う機械学習手法。情報利得やジニ不純度を基準にノードを分割する。解釈性が高く、ランダムフォレストや勾配ブースティングの基礎となる。

データを条件分岐により樹形図状に分類・予測する分析手法。各ノードで属性の条件による分割を繰り返し、分類ルールを自動的に導出する。結果の解釈が容易な特徴がある。

データを特徴量の条件で繰り返し分岐させた木構造のモデルで、分類や回帰を行う機械学習の手法。分岐の基準にはジニ不純度や情報利得（エントロピーの減少）を使う。判断の過程が分かりやすく説明性が高いが、過学習しやすいため、ランダムフォレストなどのアンサンブル学習の基礎として使われる。

バギングの考え方で多数の決定木を学習し、分類では多数決、回帰では平均で予測するアンサンブル学習の手法。各決定木は、ブートストラップ標本（重複を許して抽出したデータ）を使い、分岐ごとにランダムに選んだ一部の特徴量だけから分割を選ぶので、木どうしの相関が下がりバリアンスが減る。過学習しにくく、特徴量の重要度も求められる。

学習データから重複を許して無作為に抽出したブートストラップ標本を複数作り、それぞれで同じ種類のモデルを並列に学習して、予測を多数決や平均で統合するアンサンブル学習の手法。Bootstrap Aggregatingの略。個々のモデルのばらつき（バリアンス）を打ち消して過学習を抑える効果があり、決定木と組み合わせたランダムフォレストが代表例である。

弱い学習器を逐次に作り、前の学習器が誤ったデータを重視したり、前までの予測の残差（誤差の勾配）を次の学習器に学習させたりして、全体を強い学習器にしていくアンサンブル学習の手法。誤分類したデータの重みを上げるAdaBoost、勾配ブースティングとその実装のXGBoostやLightGBMがある。主にバイアスを減らして高い精度を出せるが、逐次に学習するので並列化しにくく、ノイズに過学習しやすい。

種類の異なる複数のモデル（ベースモデル）の予測値を特徴量として、別のモデル（メタモデル）に学習させ、最終的な予測を行うアンサンブル学習の手法。モデルごとの得意・不得意を組み合わせられる。ベースモデルの予測には、交差検証で学習に使っていないデータに対して出した予測（アウトオブフォールド予測）を使い、データリークを防ぐ。

ニューラルネットワークの学習中に、隠れ層などのユニットを一定の確率でランダムに無効にして学習する正則化の手法。特定のユニットに頼った学習を防ぎ、毎回異なる小さなネットワークを学習して平均するアンサンブルに近い効果で過学習を抑える。推論時はすべてのユニットを使い、出力の大きさを無効化の割合に合わせて補正する。

AIシステムが出した結果について、なぜその結果になったのかを、利用者や影響を受ける人が理解できる形で説明できる度合い。内部の構造が複雑なモデルでも、判断に効いた特徴量を示すなどの手法で事後に根拠を示して確保する。モデルの仕組みそのものを人間が理解できるかを表す解釈可能性と区別して使われることがある。