リカレントニューラルネットワーク

時系列データや自然言語など順序性のあるデータを扱うニューラルネットワーク。前の時点の出力を次の時点の入力にフィードバックする再帰的な構造を持つ。RNNと略される。

時系列データを処理するための深層学習モデル。隠れ状態を次の時刻に引き継ぐ再帰的構造を持ち、可変長の系列データを扱える。長期依存性の学習が困難な勾配消失問題があり、LSTMやGRUで改善される。

隠れ層の出力を次の時刻の入力に戻す再帰的な結合を持ち、過去の情報を内部状態として保持しながら系列データを順に処理するニューラルネットワーク。文章、音声、時系列データの扱いに使われる。長い系列では勾配消失問題で遠い過去の情報を学習しにくく、これを改善したLSTMやGRUが使われ、自然言語処理では並列に計算できるTransformerに置き換わった。

中間層の出力を次の時刻の入力として再び使う循環構造を持ち、過去の情報を保持しながら時系列データや文章などの系列データを処理するニューラルネットワーク。長い系列では勾配消失により遠い過去の情報を学習しにくく、これを改善したLSTMやGRUが使われてきた。現在の言語処理ではTransformerが主流である。

多数の中間層（隠れ層）を持つニューラルネットワークを用いた機械学習の手法。画像認識・音声認識・自然言語処理などで高い性能を発揮し、AIの発展を牽引している。

大量のデータを用いてモデルの基本的な知識や特徴抽出能力を事前に学習させる工程。この後にファインチューニングを行うことで、特定のタスクに適応させることができる。

事前学習済みモデルの重みを、特定のタスクに合わせて微調整する手法。少量のデータで効率的に高精度なモデルを構築でき、転移学習の代表的な方法である。

あるタスクで学習したモデルの知識を、別の関連するタスクに転用する手法。学習データが少ない場合でも高精度なモデルを構築でき、学習時間の短縮にもつながる。

画像認識に特化したディープラーニングのモデル。畳み込み層とプーリング層を組み合わせて画像の局所的な特徴を抽出し、画像分類・物体検出・顔認識などに高い精度を発揮する。

生成器（Generator）と識別器（Discriminator）の2つのネットワークを競わせて学習する生成モデル。生成器がリアルなデータを生成し、識別器がそれを見分ける過程で両者の性能が向上する。