活性化関数

ニューラルネットワークの各ニューロンで、入力の重み付き和に対して非線形変換を行う関数。ReLU、シグモイド関数、ソフトマックス関数などがあり、ネットワークの表現力を高める。

ニューラルネットワークの各ノードの出力に適用される非線形関数。ReLU（Rectified Linear Unit）、シグモイド関数、tanh関数、ソフトマックス関数などがある。非線形性を導入することで複雑な関数の近似を可能にする。

ニューラルネットワークの各ユニットで、入力の重み付き和を変換して出力を決める関数。非線形の関数を使うことで、層を重ねたネットワークが複雑な関係を表現できる（線形のままでは何層重ねても1層と同じ）。隠れ層ではReLU関数、出力層では2クラス分類にシグモイド関数、多クラス分類にソフトマックス関数、回帰に恒等関数が使われる。

ニューラルネットワークの各ノードで、入力の重み付きの和を変換して出力を決める関数。非線形の関数を使うことで、層を重ねたネットワークが複雑な関係を表現できるようになる。中間層ではReLU関数やその派生、出力層では2値分類にシグモイド関数、多クラス分類にソフトマックス関数が使われる。

生物の神経回路網を模倣した計算モデル。入力層、隠れ層、出力層からなり、各ノード間の結合の重みを学習によって調整する。ディープラーニングの基礎となる技術。

多層のニューラルネットワークを用いた機械学習手法。大量のデータから高度な特徴表現を自動的に獲得できる。画像認識、自然言語処理、音声認識などで高い性能を発揮する。

ニューラルネットワークの学習アルゴリズム。出力の誤差を出力層から入力層へ逆方向に伝播させ、各結合の重みを更新する。誤差逆伝播法とも呼ばれ、勾配降下法と組み合わせて使用される。

画像認識に特化したニューラルネットワーク。畳み込み層で画像の局所的な特徴を抽出し、プーリング層でデータを縮小する構造を持つ。CNNと略され、物体検出や画像分類に高い性能を示す。

時系列データや自然言語など順序性のあるデータを扱うニューラルネットワーク。前の時点の出力を次の時点の入力にフィードバックする再帰的な構造を持つ。RNNと略される。

学習データの確率分布を学習し、新しいデータを生成できるモデル。GAN（敵対的生成ネットワーク）や拡散モデルが代表的。画像生成、文章生成などに応用される。