勾配消失問題

誤差逆伝播法で、出力層から入力層に向かって勾配を伝えるうちに、層ごとに掛け合わされる微分値が小さいために勾配が指数的に小さくなり、入力に近い層の重みがほとんど更新されなくなる問題。微分の最大値が0.25のシグモイド関数を多層で使う場合や、長い系列を扱うRNNで起きやすい。ReLU関数、重みの初期化の工夫、バッチ正規化、層を飛び越す残差接続、LSTMなどで緩和する。

多層のニューラルネットワークを誤差逆伝播法で学習させるとき、出力層から入力層へ誤差を伝えるにつれて勾配が小さくなり、入力層に近い層の重みがほとんど更新されなくなる問題。シグモイド関数を活性化関数に使うと起こりやすく、ReLU関数の採用、残差接続、LSTMなどで緩和される。

脳の神経細胞のつながりを模して、入力層・隠れ層・出力層のユニット（ノード）を重み付きの結合でつないだ数理モデル。各ユニットは入力の重み付き和に活性化関数を適用して出力し、誤差逆伝播法と勾配降下法で重みを学習する。隠れ層を多数重ねたものを使う手法がディープラーニングである。

ニューラルネットワークで、入力層と出力層の間にある層で、中間層ともいう。前の層の出力に重みを掛けて足し合わせ、活性化関数で変換して次の層に渡すことで、データの特徴を段階的に抽象化する。隠れ層を何層も重ねたネットワークがディープニューラルネットワークで、層の数とユニット数はハイパーパラメータになる。

入力が0以下なら0を、0より大きければ入力の値をそのまま出力する活性化関数（Rectified Linear Unit）。計算が簡単で、正の領域では勾配が常に1になるため勾配消失が起こりにくく、ディープラーニングの中間層で広く使われる。入力が負の間は学習が進まなくなる問題がある。

ReLU関数を改良した活性化関数で、入力が0より大きいときはそのまま出力し、0以下のときは0ではなく入力に0.01などの小さな係数を掛けた値を出力する。負の入力に対しても小さな勾配が残るため、ReLU関数で入力が負のノードの学習が止まってしまう問題を緩和できる。

多層のニューラルネットワークを用いた機械学習手法。大量のデータから高度な特徴表現を自動的に獲得できる。画像認識、自然言語処理、音声認識などで高い性能を発揮する。

ニューラルネットワークの学習アルゴリズム。出力の誤差を出力層から入力層へ逆方向に伝播させ、各結合の重みを更新する。誤差逆伝播法とも呼ばれ、勾配降下法と組み合わせて使用される。