tanh関数

入力が0以下なら0を、0より大きければ入力の値をそのまま出力する活性化関数（Rectified Linear Unit）。計算が簡単で、正の領域では勾配が常に1になるため勾配消失が起こりにくく、ディープラーニングの中間層で広く使われる。入力が負の間は学習が進まなくなる問題がある。

ReLU関数を改良した活性化関数で、入力が0より大きいときはそのまま出力し、0以下のときは0ではなく入力に0.01などの小さな係数を掛けた値を出力する。負の入力に対しても小さな勾配が残るため、ReLU関数で入力が負のノードの学習が止まってしまう問題を緩和できる。

入力を0から1の範囲の値に滑らかに変換するS字形の関数。出力を確率とみなせるため、ロジスティック回帰や、ニューラルネットワークの2値分類の出力層の活性化関数に使われる。入力の絶対値が大きいと勾配が0に近づくため、多層の中間層では勾配消失の原因になる。

RNNで長い系列の依存関係を学習できるようにしたネットワークの構造。情報を保持する記憶セルと、新しい情報をどれだけ取り込むかの入力ゲート、古い情報をどれだけ捨てるかの忘却ゲート、どれだけ出力するかの出力ゲートを持ち、勾配消失問題を緩和する。機械翻訳、音声認識、時系列の予測に広く使われたが、自然言語処理の主役はTransformerに移った。

説明変数の一次式をシグモイド関数で0から1の値に変換し、ある事象が起きる確率を予測する手法。名前に回帰とあるが、主に購入するか否か、合格か不合格かといった2値の分類に使われ、確率がしきい値を超えるかでクラスを判定する。係数から各変数の影響の大きさを解釈しやすい。

多層のニューラルネットワークを誤差逆伝播法で学習させるとき、出力層から入力層へ誤差を伝えるにつれて勾配が小さくなり、入力層に近い層の重みがほとんど更新されなくなる問題。シグモイド関数を活性化関数に使うと起こりやすく、ReLU関数の採用、残差接続、LSTMなどで緩和される。