ロジスティック回帰分析

説明変数の一次式をシグモイド関数で0〜1の値に変換し、ある事象が起こる確率を推定する手法。名前に回帰とあるが、確率がしきい値を超えるかどうかで2つのクラスに分ける分類に使われ、購買の有無や病気の発症の予測などに用いられる。

目的変数が2値（有/無、成功/失敗など）の場合に、説明変数から目的変数の発生確率を推定する統計的分析手法。マーケティングにおける購買予測やリスク分析に活用される。

説明変数の一次式をシグモイド関数で0から1の値に変換し、ある事象が起きる確率を予測する手法。名前に回帰とあるが、主に購入するか否か、合格か不合格かといった2値の分類に使われ、確率がしきい値を超えるかでクラスを判定する。係数から各変数の影響の大きさを解釈しやすい。

ニューラルネットワークの各ユニットで、入力の重み付き和を変換して出力を決める関数。非線形の関数を使うことで、層を重ねたネットワークが複雑な関係を表現できる（線形のままでは何層重ねても1層と同じ）。隠れ層ではReLU関数、出力層では2クラス分類にシグモイド関数、多クラス分類にソフトマックス関数、回帰に恒等関数が使われる。

多層のニューラルネットワークを誤差逆伝播法で学習させるとき、出力層から入力層へ誤差を伝えるにつれて勾配が小さくなり、入力層に近い層の重みがほとんど更新されなくなる問題。シグモイド関数を活性化関数に使うと起こりやすく、ReLU関数の採用、残差接続、LSTMなどで緩和される。

双曲線正接関数で、入力を-1から1の範囲の値に変換する活性化関数。原点を中心に対称な出力になるため、0から1の値をとるシグモイド関数より学習が進みやすいが、入力の絶対値が大きいと勾配が0に近づき、勾配消失が起こる。RNNの中間層などで使われる。

入力を0から1の範囲の値に滑らかに変換するS字形の関数。出力を確率とみなせるため、ロジスティック回帰や、ニューラルネットワークの2値分類の出力層の活性化関数に使われる。入力の絶対値が大きいと勾配が0に近づくため、多層の中間層では勾配消失の原因になる。