バッチ学習

学習データ全体をまとめて使って損失と勾配を計算し、パラメータを更新する学習の方法。更新の方向が安定するが、1回の更新に全データの計算が要るのでデータが大きいと時間とメモリを多く使う。新しいデータが加わったら全データで学習し直すのが基本で、データを少しずつ使うミニバッチ学習やオンライン学習と対比される。

生物の神経回路網を模倣した計算モデル。入力層、隠れ層、出力層からなり、各ノード間の結合の重みを学習によって調整する。ディープラーニングの基礎となる技術。

多層のニューラルネットワークを用いた機械学習手法。大量のデータから高度な特徴表現を自動的に獲得できる。画像認識、自然言語処理、音声認識などで高い性能を発揮する。

ニューラルネットワークの学習アルゴリズム。出力の誤差を出力層から入力層へ逆方向に伝播させ、各結合の重みを更新する。誤差逆伝播法とも呼ばれ、勾配降下法と組み合わせて使用される。

ニューラルネットワークの各ノードで入力の加重和に適用する非線形関数。シグモイド関数、ReLU（Rectified Linear Unit）、ソフトマックス関数などが代表的。非線形変換により複雑なパターンの学習を可能にする。

画像認識に特化したニューラルネットワーク。畳み込み層で画像の局所的な特徴を抽出し、プーリング層でデータを縮小する構造を持つ。CNNと略され、物体検出や画像分類に高い性能を示す。

時系列データや自然言語など順序性のあるデータを扱うニューラルネットワーク。前の時点の出力を次の時点の入力にフィードバックする再帰的な構造を持つ。RNNと略される。