学習率
Learning Rate
がくしゅうりつ
勾配降下法などでモデルのパラメータを更新するとき、1回の更新でどれだけ大きくパラメータを動かすかを決めるハイパーパラメータ。大きすぎると誤差が最小となる点を飛び越えて学習が収束せず、小さすぎると学習に時間がかかったり局所的な解にとどまったりする。
Related
関連キーワードの用語
ハイパーパラメータの探索で、指定した範囲や分布から値の組合せを無作為に選び、決めた回数だけ試して最もよいものを選ぶ方法。性能に効くハイパーパラメータが一部に限られる場合、同じ試行回数でもグリッドサーチより効率よくよい値を見つけやすい。試行回数で計算コストを管理できる。
最適化の問題で、その近くの解の中では最もよいが、全体で最もよいとは限らない解。勾配降下法は勾配が0になる点で止まるので、局所最適解や、ある方向には極小で別の方向には極大となる鞍点にとどまることがある。確率的勾配降下法のノイズ、モーメンタム、初期値を変えた複数回の学習などで抜け出しやすくする。
ハイパーパラメータの最適な値を探す手法の一つで、各ハイパーパラメータの候補値を格子状に組み合わせ、そのすべての組合せについて学習と評価を行って、最も性能のよい組合せを選ぶ方法。網羅的で確実だが、ハイパーパラメータの数が増えると計算量が急激に増える。
多層のニューラルネットワークを誤差逆伝播法で学習させるとき、出力層から入力層へ誤差を伝えるにつれて勾配が小さくなり、入力層に近い層の重みがほとんど更新されなくなる問題。シグモイド関数を活性化関数に使うと起こりやすく、ReLU関数の採用、残差接続、LSTMなどで緩和される。
脳の神経細胞のつながりを模した計算モデル。入力層、中間層（隠れ層）、出力層からなり、各層のノードは前の層からの入力に重みを掛けて合計し、活性化関数を通して次の層へ出力する。重みは誤差逆伝播法などで学習し、層を深くしたものがディープラーニングである。
入力が0以下なら0を、0より大きければ入力の値をそのまま出力する活性化関数（Rectified Linear Unit）。計算が簡単で、正の領域では勾配が常に1になるため勾配消失が起こりにくく、ディープラーニングの中間層で広く使われる。入力が負の間は学習が進まなくなる問題がある。