シグモイド関数

入力が0以下なら0を、0より大きければ入力の値をそのまま出力する活性化関数（Rectified Linear Unit）。計算が簡単で、正の領域では勾配が常に1になるため勾配消失が起こりにくく、ディープラーニングの中間層で広く使われる。入力が負の間は学習が進まなくなる問題がある。

ReLU関数を改良した活性化関数で、入力が0より大きいときはそのまま出力し、0以下のときは0ではなく入力に0.01などの小さな係数を掛けた値を出力する。負の入力に対しても小さな勾配が残るため、ReLU関数で入力が負のノードの学習が止まってしまう問題を緩和できる。

双曲線正接関数で、入力を-1から1の範囲の値に変換する活性化関数。原点を中心に対称な出力になるため、0から1の値をとるシグモイド関数より学習が進みやすいが、入力の絶対値が大きいと勾配が0に近づき、勾配消失が起こる。RNNの中間層などで使われる。

教師あり学習で扱う問題の一つで、入力データがあらかじめ決められたどのカテゴリ（クラス）に属するかを予測すること。迷惑メールの判定や画像に写った物体の識別などが例で、ロジスティック回帰、決定木、サポートベクトルマシンなどの手法が使われ、正解率、適合率、再現率などで評価する。

説明変数の一次式をシグモイド関数で0から1の値に変換し、ある事象が起きる確率を予測する手法。名前に回帰とあるが、主に購入するか否か、合格か不合格かといった2値の分類に使われ、確率がしきい値を超えるかでクラスを判定する。係数から各変数の影響の大きさを解釈しやすい。

脳の神経細胞のつながりを模した計算モデル。入力層、中間層（隠れ層）、出力層からなり、各層のノードは前の層からの入力に重みを掛けて合計し、活性化関数を通して次の層へ出力する。重みは誤差逆伝播法などで学習し、層を深くしたものがディープラーニングである。