リカレントニューラルネットワーク

時系列データや文章などの順序のあるデータの処理に適したディープラーニングのモデル。出力を次の入力にフィードバックする再帰構造を持ち、文章生成や音声認識などに利用される。

時系列データや自然言語など順序性のあるデータを扱うニューラルネットワーク。前の時点の出力を次の時点の入力にフィードバックする再帰的な構造を持つ。RNNと略される。

隠れ層の出力を次の時刻の入力に戻す再帰的な結合を持ち、過去の情報を内部状態として保持しながら系列データを順に処理するニューラルネットワーク。文章、音声、時系列データの扱いに使われる。長い系列では勾配消失問題で遠い過去の情報を学習しにくく、これを改善したLSTMやGRUが使われ、自然言語処理では並列に計算できるTransformerに置き換わった。

中間層の出力を次の時刻の入力として再び使う循環構造を持ち、過去の情報を保持しながら時系列データや文章などの系列データを処理するニューラルネットワーク。長い系列では勾配消失により遠い過去の情報を学習しにくく、これを改善したLSTMやGRUが使われてきた。現在の言語処理ではTransformerが主流である。

生物の神経回路を模倣した計算モデル。入力層、隠れ層、出力層からなり、各ノード間の重みをバックプロパゲーション（誤差逆伝播法）で学習する。多層化（ディープラーニング）により複雑なパターン認識が可能。

ニューラルネットワークの学習アルゴリズム。出力層から入力層に向かって誤差を逆伝播し、連鎖律（チェインルール）を用いて各重みに対する損失関数の勾配を効率的に計算する。勾配降下法と組み合わせて重みを更新。

ニューラルネットワークの各ノードの出力に適用される非線形関数。ReLU（Rectified Linear Unit）、シグモイド関数、tanh関数、ソフトマックス関数などがある。非線形性を導入することで複雑な関数の近似を可能にする。

畳み込み層とプーリング層を組み合わせた深層学習モデル。局所的な特徴をフィルタで抽出し、階層的に高次の特徴を学習する。画像認識、物体検出、セグメンテーションなどの画像処理タスクで高い性能を発揮する。

RNNの勾配消失問題を解決するために設計されたセルアーキテクチャ。入力ゲート、忘却ゲート、出力ゲートにより長期的な依存関係を学習できる。自然言語処理、音声認識、時系列予測で広く使用される。

自己注意（Self-Attention）機構を中心としたニューラルネットワークアーキテクチャ。RNNと異なり並列処理が可能で、長距離の依存関係を効率的に捉えられる。GPT、BERTなどの大規模言語モデルの基盤技術。