バッチ学習

全データではなく、無作為に選んだ1件（または少数のミニバッチ）のデータで勾配を計算してパラメータを更新する勾配降下法。1回の更新の計算が軽く大規模なデータでも速く学習が進む一方、勾配にばらつき（ノイズ）が入るので更新の向きは揺らぐが、それが局所最適解から抜け出す助けにもなる。モーメンタムやAdamなどの最適化アルゴリズムの基礎である。

ニューラルネットワークの学習で、ミニバッチ1つ分のデータで損失と勾配を計算し、パラメータを1回更新する処理の単位。学習データ全体を1回使い切るのが1エポックで、1エポック当たりのイテレーション数は「データ数÷バッチサイズ」になる。例えば1万件をバッチサイズ100で学習すると、1エポックは100イテレーションである。

ニューラルネットワークの出力と正解の誤差（損失）を、出力層から入力層に向かって逆向きに伝え、微分の連鎖律を使って各層の重みに対する損失の勾配を効率よく求める方法。求めた勾配を使い、勾配降下法で重みを更新する。層が深いと勾配が極端に小さくなる勾配消失問題が起きることがある。

ニューラルネットワークなどの学習で、学習データ全体を1回使い切ることを1エポックという。通常は数十から数百エポック繰り返して学習し、エポック数はハイパーパラメータになる。エポックを重ねすぎると過学習するので、検証用データの誤差を監視して悪化し始めたら止める早期終了を使う。

データが1件（または少数）届くたびに、そのデータだけでモデルのパラメータを逐次に更新する学習の方法。全データを保持しなくてよく、データの傾向の変化にも追随しやすいので、ストリームデータや推薦システムなどに使われる。一方で、ノイズを含むデータやデータの到着順に影響されやすく、学習が不安定になることがある。

最適化の問題で、その近くの解の中では最もよいが、全体で最もよいとは限らない解。勾配降下法は勾配が0になる点で止まるので、局所最適解や、ある方向には極小で別の方向には極大となる鞍点にとどまることがある。確率的勾配降下法のノイズ、モーメンタム、初期値を変えた複数回の学習などで抜け出しやすくする。