活性化関数

ニューラルネットワークの各ニューロンで、入力の重み付き和に対して非線形変換を行う関数。ReLU、シグモイド関数、ソフトマックス関数などがあり、ネットワークの表現力を高める。

ニューラルネットワークの各ノードで入力の加重和に適用する非線形関数。シグモイド関数、ReLU（Rectified Linear Unit）、ソフトマックス関数などが代表的。非線形変換により複雑なパターンの学習を可能にする。

ニューラルネットワークの各ノードの出力に適用される非線形関数。ReLU（Rectified Linear Unit）、シグモイド関数、tanh関数、ソフトマックス関数などがある。非線形性を導入することで複雑な関数の近似を可能にする。

ニューラルネットワークの各ユニットで、入力の重み付き和を変換して出力を決める関数。非線形の関数を使うことで、層を重ねたネットワークが複雑な関係を表現できる（線形のままでは何層重ねても1層と同じ）。隠れ層ではReLU関数、出力層では2クラス分類にシグモイド関数、多クラス分類にソフトマックス関数、回帰に恒等関数が使われる。

多層のニューラルネットワークを誤差逆伝播法で学習させるとき、出力層から入力層へ誤差を伝えるにつれて勾配が小さくなり、入力層に近い層の重みがほとんど更新されなくなる問題。シグモイド関数を活性化関数に使うと起こりやすく、ReLU関数の採用、残差接続、LSTMなどで緩和される。

説明変数の一次式をシグモイド関数で0から1の値に変換し、ある事象が起きる確率を予測する手法。名前に回帰とあるが、主に購入するか否か、合格か不合格かといった2値の分類に使われ、確率がしきい値を超えるかでクラスを判定する。係数から各変数の影響の大きさを解釈しやすい。

ReLU関数を改良した活性化関数で、入力が0より大きいときはそのまま出力し、0以下のときは0ではなく入力に0.01などの小さな係数を掛けた値を出力する。負の入力に対しても小さな勾配が残るため、ReLU関数で入力が負のノードの学習が止まってしまう問題を緩和できる。

双曲線正接関数で、入力を-1から1の範囲の値に変換する活性化関数。原点を中心に対称な出力になるため、0から1の値をとるシグモイド関数より学習が進みやすいが、入力の絶対値が大きいと勾配が0に近づき、勾配消失が起こる。RNNの中間層などで使われる。

目的変数が「購入する／しない」のような2値のときに、説明変数から事象の起こる確率を推定する回帰分析。説明変数の線形結合をロジスティック関数（シグモイド関数）で0〜1の値に変換し、回帰係数はオッズ比として解釈できる。機械学習では、分類の基本的なモデルとして使われる。

ニューラルネットワークの最後にあり、予測結果を出力する層。課題に応じてユニット数と活性化関数を選び、多クラス分類ではクラス数のユニットとソフトマックス関数で各クラスの確率を、2クラス分類ではシグモイド関数で陽性の確率を、回帰では恒等関数で数値を出力する。出力と正解との差を損失関数で測り、学習に使う。