Transformer

2017年の論文「Attention Is All You Need」で提案された、自己注意機構を中心とするニューラルネットワークの構造。RNNのように系列を順に処理せず、系列中のすべての位置の関係を同時に計算するので、並列に学習でき長距離の依存関係も捉えやすい（語順の情報は位置エンコーディングで与える）。GPTやBERTなどの大規模言語モデルの基盤であり、画像や音声のモデルにも使われている。

系列の各要素が他のすべての要素との関連の強さを計算して情報を集める自己注意機構（Self-Attention）を中心とした、ニューラルネットワークの構造。RNNのように順番に処理する必要がなく並列に計算できるため、大量のデータでの学習に向き、長い文脈の関係も捉えやすい。GPTなど大規模言語モデルの基盤である。

生物の神経回路を模倣した計算モデル。入力層、隠れ層、出力層からなり、各ノード間の重みをバックプロパゲーション（誤差逆伝播法）で学習する。多層化（ディープラーニング）により複雑なパターン認識が可能。

ニューラルネットワークの学習アルゴリズム。出力層から入力層に向かって誤差を逆伝播し、連鎖律（チェインルール）を用いて各重みに対する損失関数の勾配を効率的に計算する。勾配降下法と組み合わせて重みを更新。

ニューラルネットワークの各ノードの出力に適用される非線形関数。ReLU（Rectified Linear Unit）、シグモイド関数、tanh関数、ソフトマックス関数などがある。非線形性を導入することで複雑な関数の近似を可能にする。

畳み込み層とプーリング層を組み合わせた深層学習モデル。局所的な特徴をフィルタで抽出し、階層的に高次の特徴を学習する。画像認識、物体検出、セグメンテーションなどの画像処理タスクで高い性能を発揮する。

時系列データを処理するための深層学習モデル。隠れ状態を次の時刻に引き継ぐ再帰的構造を持ち、可変長の系列データを扱える。長期依存性の学習が困難な勾配消失問題があり、LSTMやGRUで改善される。

RNNの勾配消失問題を解決するために設計されたセルアーキテクチャ。入力ゲート、忘却ゲート、出力ゲートにより長期的な依存関係を学習できる。自然言語処理、音声認識、時系列予測で広く使用される。