アラインメント

AIの振る舞いを、開発者や利用者の意図、人間の価値観や倫理に沿うように調整すること、またはその研究分野。大規模言語モデルでは、指示に従い、役に立ち、誠実で、有害な出力をしないことを目標に、インストラクションチューニングやRLHF、人間の選好データで直接学習するDPOなどの手法で行う。AIの能力が高まるほど、意図しない目標の追求を防ぐ安全性の課題として重視される。

AI、特に大規模言語モデルの振る舞いを、人間の意図や価値観、社会の規範に沿ったものにするための取組みや技術。有用で正直かつ有害な出力をしないようにすることを目指し、人間のフィードバックによる強化学習（RLHF）や、指示に従うための追加学習などの手法が使われる。

大規模言語モデルの性能が、モデルのパラメータ数、学習データの量、学習に使う計算量を増やすほど、べき乗則に従って予測できる形で向上するという経験則。2020年に OpenAI の研究者らが示し、モデルの大規模化を進める根拠となった。

学習したデータの特徴をもとに、文章、画像、音声、動画、プログラムなどのコンテンツを新たに作り出すAI。大規模言語モデルを使った対話、要約、文書作成などに広く使われる。もっともらしい誤り（ハルシネーション）を出力することがあるため、RAGによる根拠の付与や人間による確認と組み合わせて使う。

2017年の論文「Attention Is All You Need」で提案された、自己注意機構を中心とするニューラルネットワークの構造。RNNのように系列を順に処理せず、系列中のすべての位置の関係を同時に計算するので、並列に学習でき長距離の依存関係も捉えやすい（語順の情報は位置エンコーディングで与える）。GPTやBERTなどの大規模言語モデルの基盤であり、画像や音声のモデルにも使われている。

大規模言語モデルが文章を処理するときの最小単位。文章はトークナイザによって、単語やその一部（サブワード）、文字、バイト列に分割され、それぞれが番号に置き換えられて入力される。日本語では1文字が1トークン以上になることも多く、モデルが一度に扱える長さ（コンテキストウィンドウ）やAPIの利用料金はトークン数で決まる。

正解ラベルの付いていないデータから、データ自身の一部を隠して残りから当てさせるなどの方法で正解を自動的に作り、教師あり学習の形で学習する手法。文章の次の単語の予測（GPT）や穴埋め（BERT）、同じ画像を加工した組を近づける対比学習がある。人手のラベル付けなしに大量のデータで学習できるので、大規模言語モデルなどの事前学習に使われる。

大規模言語モデルが、パラメータを更新することなく、プロンプトの中に示された指示や入出力の例だけから課題のやり方を読み取って実行する能力。例を示さないゼロショット、少数の例を示すフューショットの形で使う。追加学習なしに新しい課題に対応できるが、例の選び方や並べ方で結果が変わり、コンテキストウィンドウの長さの制約も受ける。