アラインメント

AIの振る舞いを、開発者や利用者の意図、人間の価値観や倫理に沿うように調整すること、またはその研究分野。大規模言語モデルでは、指示に従い、役に立ち、誠実で、有害な出力をしないことを目標に、インストラクションチューニングやRLHF、人間の選好データで直接学習するDPOなどの手法で行う。AIの能力が高まるほど、意図しない目標の追求を防ぐ安全性の課題として重視される。

エージェントが環境の中で行動し、その結果として得られる報酬が長期的に最大になるような行動の選び方（方策）を、試行錯誤を通じて学習する機械学習の手法。正解は与えられず報酬だけを手がかりにする。ゲームの攻略、ロボットの制御、生成AIを人の好みに合わせるRLHFなどに使われる。

大量のデータで事前学習済みのモデルを基に、目的の用途や分野のデータを追加で学習させて、モデルのパラメータを調整すること。少ないデータと計算量で用途に適したモデルを作れ、転移学習の代表的な方法である。大規模言語モデルでは、一部のパラメータだけを調整するLoRAなどの効率的な手法も使われる。

系列の各要素が他のすべての要素との関連の強さを計算して情報を集める自己注意機構（Self-Attention）を中心とした、ニューラルネットワークの構造。RNNのように順番に処理する必要がなく並列に計算できるため、大量のデータでの学習に向き、長い文脈の関係も捉えやすい。GPTなど大規模言語モデルの基盤である。

大規模言語モデルが文章を処理するときの最小の単位。単語や、単語をさらに分けた部分（サブワード）、文字などで、テキストはトークナイザによってトークンの列に分割され、それぞれが数値に変換される。モデルが一度に扱える量や、生成AIの利用料金はトークン数で表されることが多い。

大規模言語モデルが1回の処理で入力と出力を合わせて扱えるトークン数の上限。プロンプト、会話の履歴、参照させる文書などはこの範囲に収める必要があり、超えた部分はモデルが参照できない。大きいほど長い文書を扱えるが、計算量と費用が増え、長い入力の中ほどの情報を見落としやすくなることもある。

利用者の質問に関連する情報を、社内文書やデータベースなどの外部の知識源から検索し、その結果をプロンプトに加えて生成AIに回答を生成させる手法。モデルを再学習せずに最新の情報や組織固有の知識を反映でき、根拠を示した回答を作りやすく、ハルシネーションの抑制にも役立つ。