Leaky ReLU関数

入力が0以下なら0を、0より大きければ入力の値をそのまま出力する活性化関数（Rectified Linear Unit）。計算が簡単で、正の領域では勾配が常に1になるため勾配消失が起こりにくく、ディープラーニングの中間層で広く使われる。入力が負の間は学習が進まなくなる問題がある。

多層のニューラルネットワークを誤差逆伝播法で学習させるとき、出力層から入力層へ誤差を伝えるにつれて勾配が小さくなり、入力層に近い層の重みがほとんど更新されなくなる問題。シグモイド関数を活性化関数に使うと起こりやすく、ReLU関数の採用、残差接続、LSTMなどで緩和される。

脳の神経細胞のつながりを模した計算モデル。入力層、中間層（隠れ層）、出力層からなり、各層のノードは前の層からの入力に重みを掛けて合計し、活性化関数を通して次の層へ出力する。重みは誤差逆伝播法などで学習し、層を深くしたものがディープラーニングである。

双曲線正接関数で、入力を-1から1の範囲の値に変換する活性化関数。原点を中心に対称な出力になるため、0から1の値をとるシグモイド関数より学習が進みやすいが、入力の絶対値が大きいと勾配が0に近づき、勾配消失が起こる。RNNの中間層などで使われる。

入力を0から1の範囲の値に滑らかに変換するS字形の関数。出力を確率とみなせるため、ロジスティック回帰や、ニューラルネットワークの2値分類の出力層の活性化関数に使われる。入力の絶対値が大きいと勾配が0に近づくため、多層の中間層では勾配消失の原因になる。

ニューラルネットワークで、入力層と出力層の間にある層で、中間層ともいう。前の層の出力に重みを掛けて足し合わせ、活性化関数で変換して次の層に渡すことで、データの特徴を段階的に抽象化する。隠れ層を何層も重ねたネットワークがディープニューラルネットワークで、層の数とユニット数はハイパーパラメータになる。