コンテキストウィンドウ

大規模言語モデルが1回の処理で扱えるトークン数の上限。システムプロンプト、会話の履歴、参照させる文書、生成する出力の合計がこの範囲に収まる必要があり、超えた部分は切り捨てられるか、要約などで縮める必要がある。上限が大きいモデルでも、長い入力の中ほどの情報が見落とされる（Lost in the Middle）ことがあるので、渡す情報を選んで構成する。

大規模言語モデルが、パラメータを更新することなく、プロンプトの中に示された指示や入出力の例だけから課題のやり方を読み取って実行する能力。例を示さないゼロショット、少数の例を示すフューショットの形で使う。追加学習なしに新しい課題に対応できるが、例の選び方や並べ方で結果が変わり、コンテキストウィンドウの長さの制約も受ける。

その課題やクラスの学習例を1つも与えずに、課題を解かせること。大規模言語モデルでは、プロンプトで指示だけを与え、回答例を示さずに分類や要約などを行わせる使い方を指す。従来の機械学習では、属性の説明などの補助情報を手がかりに、学習時に見たことのないクラスを認識する手法を指す。

大規模言語モデルのAPIで、リクエストの先頭部分（システムプロンプト、ツールの定義、参照文書など）が前回と一致する場合に、その部分の計算結果を再利用して、応答の速さと入力トークンの料金を改善する仕組み。先頭からの完全一致が条件なので、変わらない内容を前に、毎回変わる内容を後ろに置くようプロンプトを構成する。キャッシュは一定時間で失効し、提供者により自動適用のものと明示的な指定が要るものがある。

大量のデータで事前学習済みのモデルを基に、目的の用途や分野のデータを追加で学習させて、モデルのパラメータを調整すること。少ないデータと計算量で用途に適したモデルを作れ、転移学習の代表的な方法である。大規模言語モデルでは、一部のパラメータだけを調整するLoRAなどの効率的な手法も使われる。

系列の各要素が他のすべての要素との関連の強さを計算して情報を集める自己注意機構（Self-Attention）を中心とした、ニューラルネットワークの構造。RNNのように順番に処理する必要がなく並列に計算できるため、大量のデータでの学習に向き、長い文脈の関係も捉えやすい。GPTなど大規模言語モデルの基盤である。

AI、特に大規模言語モデルの振る舞いを、人間の意図や価値観、社会の規範に沿ったものにするための取組みや技術。有用で正直かつ有害な出力をしないようにすることを目指し、人間のフィードバックによる強化学習（RLHF）や、指示に従うための追加学習などの手法が使われる。