トークン

大規模言語モデルが文章を処理するときの最小単位。文章はトークナイザによって、単語やその一部（サブワード）、文字、バイト列に分割され、それぞれが番号に置き換えられて入力される。日本語では1文字が1トークン以上になることも多く、モデルが一度に扱える長さ（コンテキストウィンドウ）やAPIの利用料金はトークン数で決まる。

大量のデータで事前学習済みのモデルを基に、目的の用途や分野のデータを追加で学習させて、モデルのパラメータを調整すること。少ないデータと計算量で用途に適したモデルを作れ、転移学習の代表的な方法である。大規模言語モデルでは、一部のパラメータだけを調整するLoRAなどの効率的な手法も使われる。

系列の各要素が他のすべての要素との関連の強さを計算して情報を集める自己注意機構（Self-Attention）を中心とした、ニューラルネットワークの構造。RNNのように順番に処理する必要がなく並列に計算できるため、大量のデータでの学習に向き、長い文脈の関係も捉えやすい。GPTなど大規模言語モデルの基盤である。

AI、特に大規模言語モデルの振る舞いを、人間の意図や価値観、社会の規範に沿ったものにするための取組みや技術。有用で正直かつ有害な出力をしないようにすることを目指し、人間のフィードバックによる強化学習（RLHF）や、指示に従うための追加学習などの手法が使われる。

大規模言語モデルが1回の処理で入力と出力を合わせて扱えるトークン数の上限。プロンプト、会話の履歴、参照させる文書などはこの範囲に収める必要があり、超えた部分はモデルが参照できない。大きいほど長い文書を扱えるが、計算量と費用が増え、長い入力の中ほどの情報を見落としやすくなることもある。

利用者の質問に関連する情報を、社内文書やデータベースなどの外部の知識源から検索し、その結果をプロンプトに加えて生成AIに回答を生成させる手法。モデルを再学習せずに最新の情報や組織固有の知識を反映でき、根拠を示した回答を作りやすく、ハルシネーションの抑制にも役立つ。

人が正解ラベルを付けなくても、データ自身から学習の課題と正解を自動的に作って学習する手法。文章の一部を隠して当てさせる、次の単語を予測させるといった課題を使う。ラベル付けの手間なく大量のデータで学習できるため、大規模言語モデルなどの事前学習の中心となっている。