Optimization Algorithm
さいてきかあるごりずむ
ニューラルネットワークの学習で、損失関数を小さくするためにパラメータをどう更新するかを決める手法。オプティマイザともいう。基本の確率的勾配降下法（SGD）に、過去の勾配の向きを慣性として加えるモーメンタム、パラメータごとに学習率を調整するAdaGrad・RMSprop、両者を組み合わせたAdamなどがあり、収束の速さや安定性が異なる。
