ニューラルネットワーク

人間の脳の神経回路を模倣した数理モデル。入力層・中間層（隠れ層）・出力層で構成され、各層のニューロン間の結合の重みを調整することで学習を行う。

生物の神経回路網を模倣した計算モデル。入力層、隠れ層、出力層からなり、各ノード間の結合の重みを学習によって調整する。ディープラーニングの基礎となる技術。

生物の神経回路を模倣した計算モデル。入力層、隠れ層、出力層からなり、各ノード間の重みをバックプロパゲーション（誤差逆伝播法）で学習する。多層化（ディープラーニング）により複雑なパターン認識が可能。

脳の神経細胞のつながりを模した計算モデル。入力層、中間層（隠れ層）、出力層からなり、各層のノードは前の層からの入力に重みを掛けて合計し、活性化関数を通して次の層へ出力する。重みは誤差逆伝播法などで学習し、層を深くしたものがディープラーニングである。

ニューラルネットワークで、入力層と出力層の間にある層で、中間層ともいう。前の層の出力に重みを掛けて足し合わせ、活性化関数で変換して次の層に渡すことで、データの特徴を段階的に抽象化する。隠れ層を何層も重ねたネットワークがディープニューラルネットワークで、層の数とユニット数はハイパーパラメータになる。

入力層、1つ以上の隠れ層、出力層を全結合でつなぎ、信号が入力から出力へ一方向に流れる順伝播型のニューラルネットワークで、MLPと略す。隠れ層を持たない単純パーセプトロンは線形に分離できる問題しか解けない（XORが解けない）が、非線形の活性化関数を持つ隠れ層を加えることで非線形な問題を学習でき、誤差逆伝播法で学習する。

層の多いニューラルネットワークを誤差逆伝播法で学習させるとき、出力層から入力層に向かって誤差の勾配を伝えるうちに勾配が0に近づき、入力に近い層の重みがほとんど更新されなくなる問題。活性化関数にReLUを使う、LSTMを使うなどの対策がある。

入力が0以下なら0を、0より大きければ入力の値をそのまま出力する活性化関数（Rectified Linear Unit）。計算が簡単で、正の領域では勾配が常に1になるため勾配消失が起こりにくく、ディープラーニングの中間層で広く使われる。入力が負の間は学習が進まなくなる問題がある。

ReLU関数を改良した活性化関数で、入力が0より大きいときはそのまま出力し、0以下のときは0ではなく入力に0.01などの小さな係数を掛けた値を出力する。負の入力に対しても小さな勾配が残るため、ReLU関数で入力が負のノードの学習が止まってしまう問題を緩和できる。

畳み込み層とプーリング層を交互に重ねて特徴を抽出し、最後に全結合層で分類などを行うニューラルネットワーク。局所的な結合と重みの共有により、少ないパラメータで画像の位置がずれても同じ特徴を捉えられる。画像認識、物体検出、医用画像の診断支援などで高い性能を示し、音声や時系列データにも応用される。