ニューラルネットワーク

人間の脳の神経回路を模倣した数理モデル。入力層・中間層（隠れ層）・出力層で構成され、各層のニューロン間の結合の重みを調整することで学習を行う。

生物の神経回路網を模倣した計算モデル。入力層、隠れ層、出力層からなり、各ノード間の結合の重みを学習によって調整する。ディープラーニングの基礎となる技術。

生物の神経回路を模倣した計算モデル。入力層、隠れ層、出力層からなり、各ノード間の重みをバックプロパゲーション（誤差逆伝播法）で学習する。多層化（ディープラーニング）により複雑なパターン認識が可能。

脳の神経細胞のつながりを模して、入力層・隠れ層・出力層のユニット（ノード）を重み付きの結合でつないだ数理モデル。各ユニットは入力の重み付き和に活性化関数を適用して出力し、誤差逆伝播法と勾配降下法で重みを学習する。隠れ層を多数重ねたものを使う手法がディープラーニングである。

多層のニューラルネットワークを誤差逆伝播法で学習させるとき、出力層から入力層へ誤差を伝えるにつれて勾配が小さくなり、入力層に近い層の重みがほとんど更新されなくなる問題。シグモイド関数を活性化関数に使うと起こりやすく、ReLU関数の採用、残差接続、LSTMなどで緩和される。

入力が0以下なら0を、0より大きければ入力の値をそのまま出力する活性化関数（Rectified Linear Unit）。計算が簡単で、正の領域では勾配が常に1になるため勾配消失が起こりにくく、ディープラーニングの中間層で広く使われる。入力が負の間は学習が進まなくなる問題がある。

ReLU関数を改良した活性化関数で、入力が0より大きいときはそのまま出力し、0以下のときは0ではなく入力に0.01などの小さな係数を掛けた値を出力する。負の入力に対しても小さな勾配が残るため、ReLU関数で入力が負のノードの学習が止まってしまう問題を緩和できる。

ニューラルネットワークで、入力層と出力層の間にある層で、中間層ともいう。前の層の出力に重みを掛けて足し合わせ、活性化関数で変換して次の層に渡すことで、データの特徴を段階的に抽象化する。隠れ層を何層も重ねたネットワークがディープニューラルネットワークで、層の数とユニット数はハイパーパラメータになる。

入力層、1つ以上の隠れ層、出力層を全結合でつなぎ、信号が入力から出力へ一方向に流れる順伝播型のニューラルネットワークで、MLPと略す。隠れ層を持たない単純パーセプトロンは線形に分離できる問題しか解けない（XORが解けない）が、非線形の活性化関数を持つ隠れ層を加えることで非線形な問題を学習でき、誤差逆伝播法で学習する。

勾配降下法などでモデルのパラメータを更新するとき、1回の更新でどれだけ大きくパラメータを動かすかを決めるハイパーパラメータ。大きすぎると誤差が最小となる点を飛び越えて学習が収束せず、小さすぎると学習に時間がかかったり局所的な解にとどまったりする。