リカレントニューラルネットワーク

時系列データや文章などの順序のあるデータの処理に適したディープラーニングのモデル。出力を次の入力にフィードバックする再帰構造を持ち、文章生成や音声認識などに利用される。

時系列データを処理するための深層学習モデル。隠れ状態を次の時刻に引き継ぐ再帰的構造を持ち、可変長の系列データを扱える。長期依存性の学習が困難な勾配消失問題があり、LSTMやGRUで改善される。

隠れ層の出力を次の時刻の入力に戻す再帰的な結合を持ち、過去の情報を内部状態として保持しながら系列データを順に処理するニューラルネットワーク。文章、音声、時系列データの扱いに使われる。長い系列では勾配消失問題で遠い過去の情報を学習しにくく、これを改善したLSTMやGRUが使われ、自然言語処理では並列に計算できるTransformerに置き換わった。

中間層の出力を次の時刻の入力として再び使う循環構造を持ち、過去の情報を保持しながら時系列データや文章などの系列データを処理するニューラルネットワーク。長い系列では勾配消失により遠い過去の情報を学習しにくく、これを改善したLSTMやGRUが使われてきた。現在の言語処理ではTransformerが主流である。

生物の神経回路網を模倣した計算モデル。入力層、隠れ層、出力層からなり、各ノード間の結合の重みを学習によって調整する。ディープラーニングの基礎となる技術。

多層のニューラルネットワークを用いた機械学習手法。大量のデータから高度な特徴表現を自動的に獲得できる。画像認識、自然言語処理、音声認識などで高い性能を発揮する。

ニューラルネットワークの学習アルゴリズム。出力の誤差を出力層から入力層へ逆方向に伝播させ、各結合の重みを更新する。誤差逆伝播法とも呼ばれ、勾配降下法と組み合わせて使用される。

ニューラルネットワークの各ノードで入力の加重和に適用する非線形関数。シグモイド関数、ReLU（Rectified Linear Unit）、ソフトマックス関数などが代表的。非線形変換により複雑なパターンの学習を可能にする。

画像認識に特化したニューラルネットワーク。畳み込み層で画像の局所的な特徴を抽出し、プーリング層でデータを縮小する構造を持つ。CNNと略され、物体検出や画像分類に高い性能を示す。

学習データの確率分布を学習し、新しいデータを生成できるモデル。GAN（敵対的生成ネットワーク）や拡散モデルが代表的。画像生成、文章生成などに応用される。