多層パーセプトロン

脳の神経細胞のつながりを模して、入力層・隠れ層・出力層のユニット（ノード）を重み付きの結合でつないだ数理モデル。各ユニットは入力の重み付き和に活性化関数を適用して出力し、誤差逆伝播法と勾配降下法で重みを学習する。隠れ層を多数重ねたものを使う手法がディープラーニングである。

誤差逆伝播法で、出力層から入力層に向かって勾配を伝えるうちに、層ごとに掛け合わされる微分値が小さいために勾配が指数的に小さくなり、入力に近い層の重みがほとんど更新されなくなる問題。微分の最大値が0.25のシグモイド関数を多層で使う場合や、長い系列を扱うRNNで起きやすい。ReLU関数、重みの初期化の工夫、バッチ正規化、層を飛び越す残差接続、LSTMなどで緩和する。

ニューラルネットワークの出力と正解の誤差（損失）を、出力層から入力層に向かって逆向きに伝え、微分の連鎖律を使って各層の重みに対する損失の勾配を効率よく求める方法。求めた勾配を使い、勾配降下法で重みを更新する。層が深いと勾配が極端に小さくなる勾配消失問題が起きることがある。

損失関数（予測の誤差を表す関数）の値が小さくなるように、パラメータに関する損失関数の勾配（傾き）の逆方向へ、学習率に応じた幅だけパラメータを少しずつ更新していく最適化の手法。ニューラルネットワークの学習では、データの一部（ミニバッチ）ごとに更新する確率的勾配降下法（SGD）が使われる。