勾配消失問題

層の多いニューラルネットワークを誤差逆伝播法で学習させるとき、出力層から入力層に向かって誤差の勾配を伝えるうちに勾配が0に近づき、入力に近い層の重みがほとんど更新されなくなる問題。活性化関数にReLUを使う、LSTMを使うなどの対策がある。

誤差逆伝播法で、出力層から入力層に向かって勾配を伝えるうちに、層ごとに掛け合わされる微分値が小さいために勾配が指数的に小さくなり、入力に近い層の重みがほとんど更新されなくなる問題。微分の最大値が0.25のシグモイド関数を多層で使う場合や、長い系列を扱うRNNで起きやすい。ReLU関数、重みの初期化の工夫、バッチ正規化、層を飛び越す残差接続、LSTMなどで緩和する。

脳の神経細胞のつながりを模した計算モデル。入力層、中間層（隠れ層）、出力層からなり、各層のノードは前の層からの入力に重みを掛けて合計し、活性化関数を通して次の層へ出力する。重みは誤差逆伝播法などで学習し、層を深くしたものがディープラーニングである。

ニューラルネットワークの各ノードで、入力の重み付きの和を変換して出力を決める関数。非線形の関数を使うことで、層を重ねたネットワークが複雑な関係を表現できるようになる。中間層ではReLU関数やその派生、出力層では2値分類にシグモイド関数、多クラス分類にソフトマックス関数が使われる。

ReLU関数を改良した活性化関数で、入力が0より大きいときはそのまま出力し、0以下のときは0ではなく入力に0.01などの小さな係数を掛けた値を出力する。負の入力に対しても小さな勾配が残るため、ReLU関数で入力が負のノードの学習が止まってしまう問題を緩和できる。

説明変数の一次式をシグモイド関数で0から1の値に変換し、ある事象が起きる確率を予測する手法。名前に回帰とあるが、主に購入するか否か、合格か不合格かといった2値の分類に使われ、確率がしきい値を超えるかでクラスを判定する。係数から各変数の影響の大きさを解釈しやすい。

勾配降下法などでモデルのパラメータを更新するとき、1回の更新でどれだけ大きくパラメータを動かすかを決めるハイパーパラメータ。大きすぎると誤差が最小となる点を飛び越えて学習が収束せず、小さすぎると学習に時間がかかったり局所的な解にとどまったりする。

入力が0以下なら0を、0より大きければ入力の値をそのまま出力する活性化関数（Rectified Linear Unit）。計算が簡単で、正の領域では勾配が常に1になるため勾配消失が起こりにくく、ディープラーニングの中間層で広く使われる。入力が負の間は学習が進まなくなる問題がある。