決定木

データの特徴量や条件に基づいて分岐を木構造で表現し、分類・回帰・意思決定を行う手法。結果の解釈が容易で可視化しやすい。機械学習ではランダムフォレストの基礎となり、意思決定分析では期待値やリスクの評価に用いられる。

特徴量に基づく条件分岐を木構造で表現し、分類や回帰を行う機械学習手法。情報利得やジニ不純度を基準にノードを分割する。解釈性が高く、ランダムフォレストや勾配ブースティングの基礎となる。

データを条件分岐により樹形図状に分類・予測する分析手法。各ノードで属性の条件による分割を繰り返し、分類ルールを自動的に導出する。結果の解釈が容易な特徴がある。

特徴量に関する条件で、データを木の形に繰り返し分岐させて予測を行う機械学習のモデル。各分岐では、ジニ不純度やエントロピー（情報利得）が最もよく減る特徴量と分割点を選び、分類にも回帰にも使える。判断の根拠を人が読み取りやすい一方、深く育てると過学習しやすいので深さの制限や枝刈りを行い、ランダムフォレストや勾配ブースティングの基本の部品になる。

教師あり学習で扱う問題の一つで、入力データから売上高や気温などの連続的な数値を予測すること。線形回帰、決定木、ニューラルネットワークなどの手法が使われ、予測値と正解値の誤差（平均二乗誤差など）でモデルを評価する。カテゴリを予測する分類と対比される。

教師あり学習で扱う問題の一つで、入力データがあらかじめ決められたどのカテゴリ（クラス）に属するかを予測すること。迷惑メールの判定や画像に写った物体の識別などが例で、ロジスティック回帰、決定木、サポートベクトルマシンなどの手法が使われ、正解率、適合率、再現率などで評価する。

説明変数の一次式をシグモイド関数で0から1の値に変換し、ある事象が起きる確率を予測する手法。名前に回帰とあるが、主に購入するか否か、合格か不合格かといった2値の分類に使われ、確率がしきい値を超えるかでクラスを判定する。係数から各変数の影響の大きさを解釈しやすい。

複数の学習モデルを組み合わせ、それらの予測を多数決や平均などで統合して、単独のモデルより高い精度と安定性を得る手法。データを復元抽出して並列に学習させるバギング（ランダムフォレストなど）と、前のモデルの誤りを補うように順に学習させるブースティング（勾配ブースティングなど）が代表的である。

正解（ラベル）のないデータから、データに潜む構造や規則性をモデルに見つけさせる機械学習の手法。似たデータをまとめるクラスタリング、特徴を少ない次元にまとめる次元削減、よく一緒に現れる項目の組合せを見つけるアソシエーション分析、異常検知などに使われる。

目的変数を説明変数の一次式（直線や平面）で表して予測する回帰の手法。予測値と実測値の誤差の二乗和が最小になるように係数を求める（最小二乗法）。説明変数が1つのものを単回帰、複数のものを重回帰という。