隠れ層

脳の神経細胞のつながりを模して、入力層・隠れ層・出力層のユニット（ノード）を重み付きの結合でつないだ数理モデル。各ユニットは入力の重み付き和に活性化関数を適用して出力し、誤差逆伝播法と勾配降下法で重みを学習する。隠れ層を多数重ねたものを使う手法がディープラーニングである。

層の多いニューラルネットワークを誤差逆伝播法で学習させるとき、出力層から入力層に向かって誤差の勾配を伝えるうちに勾配が0に近づき、入力に近い層の重みがほとんど更新されなくなる問題。活性化関数にReLUを使う、LSTMを使うなどの対策がある。

入力が0以下なら0を、0より大きければ入力の値をそのまま出力する活性化関数（Rectified Linear Unit）。計算が簡単で、正の領域では勾配が常に1になるため勾配消失が起こりにくく、ディープラーニングの中間層で広く使われる。入力が負の間は学習が進まなくなる問題がある。

ReLU関数を改良した活性化関数で、入力が0より大きいときはそのまま出力し、0以下のときは0ではなく入力に0.01などの小さな係数を掛けた値を出力する。負の入力に対しても小さな勾配が残るため、ReLU関数で入力が負のノードの学習が止まってしまう問題を緩和できる。

ニューラルネットワークの学習時に、中間層のノードの一部を一定の確率で無作為に無効化しながら学習させる手法。特定のノードへの依存を防ぎ、複数のネットワークを組み合わせたような効果が得られるため、過学習を抑えられる。推論時はすべてのノードを使う。

隠れ層を多数重ねたニューラルネットワーク（ディープニューラルネットワーク）を使う機械学習の手法で、深層学習ともいう。画像の画素や文章のトークンのような生に近いデータから、予測に有効な特徴を層ごとに段階的に自動で学習できるため、画像認識、音声認識、自然言語処理で従来の手法を大きく上回る精度を出した。大量の学習データとGPUなどの計算資源を必要とし、判断の根拠が分かりにくい。