Transformer

自己注意（Self-Attention）機構を中心としたニューラルネットワークアーキテクチャ。RNNと異なり並列処理が可能で、長距離の依存関係を効率的に捉えられる。GPT、BERTなどの大規模言語モデルの基盤技術。

系列の各要素が他のすべての要素との関連の強さを計算して情報を集める自己注意機構（Self-Attention）を中心とした、ニューラルネットワークの構造。RNNのように順番に処理する必要がなく並列に計算できるため、大量のデータでの学習に向き、長い文脈の関係も捉えやすい。GPTなど大規模言語モデルの基盤である。

入力の系列を別の系列に変換するモデルの枠組み。エンコーダが入力の系列（例えば日本語の文）を読み込んで内部表現に変換し、デコーダがその内部表現から出力の系列（英語の文）を1要素ずつ生成する。機械翻訳、要約、対話に使われ、当初はRNNやLSTMで構成されたが、入力の長い系列を1つのベクトルに詰め込む弱点を注意機構が補い、それがTransformerへつながった。

入力を低次元の潜在表現に圧縮するエンコーダと、そこから入力を復元するデコーダを組み合わせ、出力が入力と同じになるよう学習するニューラルネットワークで、自己符号化器ともいう。正解ラベルが要らず、次元削減や特徴抽出のほか、正常データだけで学習して復元誤差が大きいものを異常とみなす異常検知、ノイズの除去に使う。潜在表現を確率分布として学習する変分オートエンコーダ（VAE）は生成モデルとして使える。

学習したデータの特徴をもとに、文章、画像、音声、動画、プログラムなどのコンテンツを新たに作り出すAI。大規模言語モデルを使った対話、要約、文書作成などに広く使われる。もっともらしい誤り（ハルシネーション）を出力することがあるため、RAGによる根拠の付与や人間による確認と組み合わせて使う。

大規模言語モデルが文章を処理するときの最小単位。文章はトークナイザによって、単語やその一部（サブワード）、文字、バイト列に分割され、それぞれが番号に置き換えられて入力される。日本語では1文字が1トークン以上になることも多く、モデルが一度に扱える長さ（コンテキストウィンドウ）やAPIの利用料金はトークン数で決まる。

正解ラベルの付いていないデータから、データ自身の一部を隠して残りから当てさせるなどの方法で正解を自動的に作り、教師あり学習の形で学習する手法。文章の次の単語の予測（GPT）や穴埋め（BERT）、同じ画像を加工した組を近づける対比学習がある。人手のラベル付けなしに大量のデータで学習できるので、大規模言語モデルなどの事前学習に使われる。

大規模言語モデルが、パラメータを更新することなく、プロンプトの中に示された指示や入出力の例だけから課題のやり方を読み取って実行する能力。例を示さないゼロショット、少数の例を示すフューショットの形で使う。追加学習なしに新しい課題に対応できるが、例の選び方や並べ方で結果が変わり、コンテキストウィンドウの長さの制約も受ける。