ソフトマックス関数

脳の神経細胞のつながりを模した計算モデル。入力層、中間層（隠れ層）、出力層からなり、各層のノードは前の層からの入力に重みを掛けて合計し、活性化関数を通して次の層へ出力する。重みは誤差逆伝播法などで学習し、層を深くしたものがディープラーニングである。

入力が0以下なら0を、0より大きければ入力の値をそのまま出力する活性化関数（Rectified Linear Unit）。計算が簡単で、正の領域では勾配が常に1になるため勾配消失が起こりにくく、ディープラーニングの中間層で広く使われる。入力が負の間は学習が進まなくなる問題がある。

ReLU関数を改良した活性化関数で、入力が0より大きいときはそのまま出力し、0以下のときは0ではなく入力に0.01などの小さな係数を掛けた値を出力する。負の入力に対しても小さな勾配が残るため、ReLU関数で入力が負のノードの学習が止まってしまう問題を緩和できる。

双曲線正接関数で、入力を-1から1の範囲の値に変換する活性化関数。原点を中心に対称な出力になるため、0から1の値をとるシグモイド関数より学習が進みやすいが、入力の絶対値が大きいと勾配が0に近づき、勾配消失が起こる。RNNの中間層などで使われる。

入力を0から1の範囲の値に滑らかに変換するS字形の関数。出力を確率とみなせるため、ロジスティック回帰や、ニューラルネットワークの2値分類の出力層の活性化関数に使われる。入力の絶対値が大きいと勾配が0に近づくため、多層の中間層では勾配消失の原因になる。

ある事象Bが起こったという条件の下で、事象Aが起こる確率。P(A|B)と書き、AとBが同時に起こる確率P(A∩B)を、Bが起こる確率P(B)で割って求める。ベイズの定理の基礎となり、検査で陽性と出た人が実際に病気である確率などの計算に使う。