活性化関数

ニューラルネットワークの各ニューロンで、入力の重み付き和に対して非線形変換を行う関数。ReLU、シグモイド関数、ソフトマックス関数などがあり、ネットワークの表現力を高める。

ニューラルネットワークの各ノードで入力の加重和に適用する非線形関数。シグモイド関数、ReLU（Rectified Linear Unit）、ソフトマックス関数などが代表的。非線形変換により複雑なパターンの学習を可能にする。

ニューラルネットワークの各ユニットで、入力の重み付き和を変換して出力を決める関数。非線形の関数を使うことで、層を重ねたネットワークが複雑な関係を表現できる（線形のままでは何層重ねても1層と同じ）。隠れ層ではReLU関数、出力層では2クラス分類にシグモイド関数、多クラス分類にソフトマックス関数、回帰に恒等関数が使われる。

ニューラルネットワークの各ノードで、入力の重み付きの和を変換して出力を決める関数。非線形の関数を使うことで、層を重ねたネットワークが複雑な関係を表現できるようになる。中間層ではReLU関数やその派生、出力層では2値分類にシグモイド関数、多クラス分類にソフトマックス関数が使われる。

生物の神経回路を模倣した計算モデル。入力層、隠れ層、出力層からなり、各ノード間の重みをバックプロパゲーション（誤差逆伝播法）で学習する。多層化（ディープラーニング）により複雑なパターン認識が可能。

ニューラルネットワークの学習アルゴリズム。出力層から入力層に向かって誤差を逆伝播し、連鎖律（チェインルール）を用いて各重みに対する損失関数の勾配を効率的に計算する。勾配降下法と組み合わせて重みを更新。

畳み込み層とプーリング層を組み合わせた深層学習モデル。局所的な特徴をフィルタで抽出し、階層的に高次の特徴を学習する。画像認識、物体検出、セグメンテーションなどの画像処理タスクで高い性能を発揮する。

時系列データを処理するための深層学習モデル。隠れ状態を次の時刻に引き継ぐ再帰的構造を持ち、可変長の系列データを扱える。長期依存性の学習が困難な勾配消失問題があり、LSTMやGRUで改善される。

RNNの勾配消失問題を解決するために設計されたセルアーキテクチャ。入力ゲート、忘却ゲート、出力ゲートにより長期的な依存関係を学習できる。自然言語処理、音声認識、時系列予測で広く使用される。

自己注意（Self-Attention）機構を中心としたニューラルネットワークアーキテクチャ。RNNと異なり並列処理が可能で、長距離の依存関係を効率的に捉えられる。GPT、BERTなどの大規模言語モデルの基盤技術。