勾配降下法

損失関数の値が小さくなるよう、パラメータを損失関数の勾配（傾き）と逆の方向に少しずつ動かす更新を繰り返して、最小となる点を探す最適化の手法。1回に動かす量は学習率で決まり、大きすぎると発散し、小さすぎると収束が遅い。損失の形によっては局所最適解や鞍点にとどまることがある。

機械学習で、学習によって自動的に決まる重みなどのパラメータとは異なり、学習を始める前に人が設定しておく値。学習率、ニューラルネットワークの層の数、決定木の深さ、k-means法のkなどが該当し、グリッドサーチやランダムサーチなどで最適な値を探す。

多層のニューラルネットワークを誤差逆伝播法で学習させるとき、出力層から入力層へ誤差を伝えるにつれて勾配が小さくなり、入力層に近い層の重みがほとんど更新されなくなる問題。シグモイド関数を活性化関数に使うと起こりやすく、ReLU関数の採用、残差接続、LSTMなどで緩和される。

脳の神経細胞のつながりを模した計算モデル。入力層、中間層（隠れ層）、出力層からなり、各層のノードは前の層からの入力に重みを掛けて合計し、活性化関数を通して次の層へ出力する。重みは誤差逆伝播法などで学習し、層を深くしたものがディープラーニングである。

学習データを数十から数百件程度の小さなまとまり（ミニバッチ）に分け、ミニバッチごとに勾配を計算してパラメータを更新する学習の方法。バッチ学習より更新の回数が多く、オンライン学習より更新が安定し、GPUで並列に計算しやすいので、ディープラーニングで標準的に使われる。ミニバッチの大きさ（バッチサイズ）はハイパーパラメータである。

ニューラルネットワークの最後にあり、予測結果を出力する層。課題に応じてユニット数と活性化関数を選び、多クラス分類ではクラス数のユニットとソフトマックス関数で各クラスの確率を、2クラス分類ではシグモイド関数で陽性の確率を、回帰では恒等関数で数値を出力する。出力と正解との差を損失関数で測り、学習に使う。

入力層、1つ以上の隠れ層、出力層を全結合でつなぎ、信号が入力から出力へ一方向に流れる順伝播型のニューラルネットワークで、MLPと略す。隠れ層を持たない単純パーセプトロンは線形に分離できる問題しか解けない（XORが解けない）が、非線形の活性化関数を持つ隠れ層を加えることで非線形な問題を学習でき、誤差逆伝播法で学習する。