バックプロパゲーション（誤差逆伝播法）

ニューラルネットワークの学習で用いられる誤差逆伝播法。出力層の誤差を入力層に向かって逆方向に伝播させながら、各層の重みを調整して学習精度を高める。

ニューラルネットワークの学習アルゴリズム。出力の誤差を出力層から入力層へ逆方向に伝播させ、各結合の重みを更新する。誤差逆伝播法とも呼ばれ、勾配降下法と組み合わせて使用される。

ニューラルネットワークの学習アルゴリズム。出力層から入力層に向かって誤差を逆伝播し、連鎖律（チェインルール）を用いて各重みに対する損失関数の勾配を効率的に計算する。勾配降下法と組み合わせて重みを更新。

誤差逆伝播法で、出力層から入力層に向かって勾配を伝えるうちに、層ごとに掛け合わされる微分値が小さいために勾配が指数的に小さくなり、入力に近い層の重みがほとんど更新されなくなる問題。微分の最大値が0.25のシグモイド関数を多層で使う場合や、長い系列を扱うRNNで起きやすい。ReLU関数、重みの初期化の工夫、バッチ正規化、層を飛び越す残差接続、LSTMなどで緩和する。

学習データ全体をまとめて使って損失と勾配を計算し、パラメータを更新する学習の方法。更新の方向が安定するが、1回の更新に全データの計算が要るのでデータが大きいと時間とメモリを多く使う。新しいデータが加わったら全データで学習し直すのが基本で、データを少しずつ使うミニバッチ学習やオンライン学習と対比される。

RNNで長い系列の依存関係を学習できるようにしたネットワークの構造。情報を保持する記憶セルと、新しい情報をどれだけ取り込むかの入力ゲート、古い情報をどれだけ捨てるかの忘却ゲート、どれだけ出力するかの出力ゲートを持ち、勾配消失問題を緩和する。機械翻訳、音声認識、時系列の予測に広く使われたが、自然言語処理の主役はTransformerに移った。

脳の神経細胞のつながりを模して、入力層・隠れ層・出力層のユニット（ノード）を重み付きの結合でつないだ数理モデル。各ユニットは入力の重み付き和に活性化関数を適用して出力し、誤差逆伝播法と勾配降下法で重みを学習する。隠れ層を多数重ねたものを使う手法がディープラーニングである。

入力層、1つ以上の隠れ層、出力層を全結合でつなぎ、信号が入力から出力へ一方向に流れる順伝播型のニューラルネットワークで、MLPと略す。隠れ層を持たない単純パーセプトロンは線形に分離できる問題しか解けない（XORが解けない）が、非線形の活性化関数を持つ隠れ層を加えることで非線形な問題を学習でき、誤差逆伝播法で学習する。

最適化の問題で、その近くの解の中では最もよいが、全体で最もよいとは限らない解。勾配降下法は勾配が0になる点で止まるので、局所最適解や、ある方向には極小で別の方向には極大となる鞍点にとどまることがある。確率的勾配降下法のノイズ、モーメンタム、初期値を変えた複数回の学習などで抜け出しやすくする。