局所最適解

勾配降下法などでモデルのパラメータを更新するとき、1回の更新でどれだけ大きくパラメータを動かすかを決めるハイパーパラメータ。大きすぎると誤差が最小となる点を飛び越えて学習が収束せず、小さすぎると学習に時間がかかったり局所的な解にとどまったりする。

制約条件と目的関数がすべて変数の一次式で表される問題で、制約を満たしながら目的関数を最大（または最小）にする変数の値を求める手法。限られた原材料や人員で利益が最大になる生産量の決定、輸送費が最小になる配送計画などに使う。解はシンプレックス法などで求め、変数が2つならグラフを描いて求めることもできる。

ハイパーパラメータの探索で、指定した範囲や分布から値の組合せを無作為に選び、決めた回数だけ試して最もよいものを選ぶ方法。性能に効くハイパーパラメータが一部に限られる場合、同じ試行回数でもグリッドサーチより効率よくよい値を見つけやすい。試行回数で計算コストを管理できる。

学習データ全体をまとめて使って損失と勾配を計算し、パラメータを更新する学習の方法。更新の方向が安定するが、1回の更新に全データの計算が要るのでデータが大きいと時間とメモリを多く使う。新しいデータが加わったら全データで学習し直すのが基本で、データを少しずつ使うミニバッチ学習やオンライン学習と対比される。

損失関数の値が小さくなるよう、パラメータを損失関数の勾配（傾き）と逆の方向に少しずつ動かす更新を繰り返して、最小となる点を探す最適化の手法。1回に動かす量は学習率で決まり、大きすぎると発散し、小さすぎると収束が遅い。損失の形によっては局所最適解や鞍点にとどまることがある。

ニューラルネットワークの出力と正解の誤差（損失）を、出力層から入力層に向かって逆向きに伝え、微分の連鎖律を使って各層の重みに対する損失の勾配を効率よく求める方法。求めた勾配を使い、勾配降下法で重みを更新する。層が深いと勾配が極端に小さくなる勾配消失問題が起きることがある。