活性化関数

ニューラルネットワークの各ニューロンで、入力の重み付き和に対して非線形変換を行う関数。ReLU、シグモイド関数、ソフトマックス関数などがあり、ネットワークの表現力を高める。

ニューラルネットワークの各ノードで入力の加重和に適用する非線形関数。シグモイド関数、ReLU（Rectified Linear Unit）、ソフトマックス関数などが代表的。非線形変換により複雑なパターンの学習を可能にする。

ニューラルネットワークの各ノードの出力に適用される非線形関数。ReLU（Rectified Linear Unit）、シグモイド関数、tanh関数、ソフトマックス関数などがある。非線形性を導入することで複雑な関数の近似を可能にする。

ニューラルネットワークの各ノードで、入力の重み付きの和を変換して出力を決める関数。非線形の関数を使うことで、層を重ねたネットワークが複雑な関係を表現できるようになる。中間層ではReLU関数やその派生、出力層では2値分類にシグモイド関数、多クラス分類にソフトマックス関数が使われる。

多層のニューラルネットワークを誤差逆伝播法で学習させるとき、出力層から入力層へ誤差を伝えるにつれて勾配が小さくなり、入力層に近い層の重みがほとんど更新されなくなる問題。シグモイド関数を活性化関数に使うと起こりやすく、ReLU関数の採用、残差接続、LSTMなどで緩和される。

目的変数が「購入する／しない」のような2値のときに、説明変数から事象の起こる確率を推定する回帰分析。説明変数の線形結合をロジスティック関数（シグモイド関数）で0〜1の値に変換し、回帰係数はオッズ比として解釈できる。機械学習では、分類の基本的なモデルとして使われる。

データを高次元の特徴空間へ写像すれば線形に分けられる問題を、写像を明示的に計算せず、特徴空間での内積だけをカーネル関数で直接求めて解く手法（カーネルトリック）。ガウスカーネル（RBFカーネル）や多項式カーネルがあり、サポートベクトルマシンで非線形な境界を学習するのに使われる。カーネル主成分分析などにも応用される。

ニューラルネットワークの最後にあり、予測結果を出力する層。課題に応じてユニット数と活性化関数を選び、多クラス分類ではクラス数のユニットとソフトマックス関数で各クラスの確率を、2クラス分類ではシグモイド関数で陽性の確率を、回帰では恒等関数で数値を出力する。出力と正解との差を損失関数で測り、学習に使う。

説明変数の一次式をシグモイド関数で0〜1の値に変換し、ある事象が起こる確率を推定する手法。名前に回帰とあるが、確率がしきい値を超えるかどうかで2つのクラスに分ける分類に使われ、購買の有無や病気の発症の予測などに用いられる。

ReLU関数を改良した活性化関数で、入力が0より大きいときはそのまま出力し、0以下のときは0ではなく入力に0.01などの小さな係数を掛けた値を出力する。負の入力に対しても小さな勾配が残るため、ReLU関数で入力が負のノードの学習が止まってしまう問題を緩和できる。