大域最適解

損失関数の値が小さくなるよう、パラメータを損失関数の勾配（傾き）と逆の方向に少しずつ動かす更新を繰り返して、最小となる点を探す最適化の手法。1回に動かす量は学習率で決まり、大きすぎると発散し、小さすぎると収束が遅い。損失の形によっては局所最適解や鞍点にとどまることがある。

制約条件と目的関数がすべて変数の一次式で表される問題で、制約を満たしながら目的関数を最大（または最小）にする変数の値を求める手法。限られた原材料や人員で利益が最大になる生産量の決定、輸送費が最小になる配送計画などに使う。解はシンプレックス法などで求め、変数が2つならグラフを描いて求めることもできる。

ハイパーパラメータの探索で、指定した範囲や分布から値の組合せを無作為に選び、決めた回数だけ試して最もよいものを選ぶ方法。性能に効くハイパーパラメータが一部に限られる場合、同じ試行回数でもグリッドサーチより効率よくよい値を見つけやすい。試行回数で計算コストを管理できる。

ニューラルネットワークの最後にあり、予測結果を出力する層。課題に応じてユニット数と活性化関数を選び、多クラス分類ではクラス数のユニットとソフトマックス関数で各クラスの確率を、2クラス分類ではシグモイド関数で陽性の確率を、回帰では恒等関数で数値を出力する。出力と正解との差を損失関数で測り、学習に使う。

最適化の問題で、その近くの解の中では最もよいが、全体で最もよいとは限らない解。勾配降下法は勾配が0になる点で止まるので、局所最適解や、ある方向には極小で別の方向には極大となる鞍点にとどまることがある。確率的勾配降下法のノイズ、モーメンタム、初期値を変えた複数回の学習などで抜け出しやすくする。

最適化問題を部分問題に分割し、各部分問題の解を記憶しながら全体の最適解を求めるアルゴリズム設計手法。重複する部分問題を再計算せずに済むため効率的。ナップサック問題や最短経路問題に応用される。