コンテキストウィンドウ

大規模言語モデルが1回の処理で扱えるトークン数の上限。システムプロンプト、会話の履歴、参照させる文書、生成する出力の合計がこの範囲に収まる必要があり、超えた部分は切り捨てられるか、要約などで縮める必要がある。上限が大きいモデルでも、長い入力の中ほどの情報が見落とされる（Lost in the Middle）ことがあるので、渡す情報を選んで構成する。

大規模言語モデルが1回の処理で入力と出力を合わせて扱えるトークン数の上限。プロンプト、会話の履歴、参照させる文書などはこの範囲に収める必要があり、超えた部分はモデルが参照できない。大きいほど長い文書を扱えるが、計算量と費用が増え、長い入力の中ほどの情報を見落としやすくなることもある。

大規模言語モデルの性能が、モデルのパラメータ数、学習データの量、学習に使う計算量を増やすほど、べき乗則に従って予測できる形で向上するという経験則。2020年に OpenAI の研究者らが示し、モデルの大規模化を進める根拠となった。

利用者IDや有効期限などの情報（クレーム）をJSONで表し、デジタル署名やMACを付けて改ざんを検知できるようにしたトークン。署名付きのJWTは、ヘッダー・ペイロード・署名をそれぞれBase64URLで符号化し、ピリオドでつないだ文字列で表す。OpenID ConnectのIDトークンやAPIのアクセストークンに使われ、受け取った側が署名とアルゴリズム（alg）を正しく検証しないと、改ざんされたトークンや署名のないトークン（alg=none）を受け入れてしまう。

文書、メール、画像、音声、動画のように、項目や形式が定まっておらず、そのままでは表形式で検索・集計できないデータ。企業が持つデータの大半を占めるとされ、自然言語処理や画像認識などで特徴を取り出すことで分析に使えるようになる。生成AIの普及で、検索拡張生成（RAG）の情報源としての活用も進んでいる。

学習したデータの特徴をもとに、文章、画像、音声、動画、プログラムなどのコンテンツを新たに作り出すAI。大規模言語モデルを使った対話、要約、文書作成などに広く使われる。もっともらしい誤り（ハルシネーション）を出力することがあるため、RAGによる根拠の付与や人間による確認と組み合わせて使う。

大規模言語モデルに長い文脈を与えたとき、冒頭と末尾にある情報はよく使われるのに、中ほどにある情報が回答に反映されにくくなる現象。2023年の研究で報告された。RAGで多数の文書を渡す場合などは、重要な情報を先頭か末尾に置く、渡す文書を絞り込むなどの工夫が要る。

2017年の論文「Attention Is All You Need」で提案された、自己注意機構を中心とするニューラルネットワークの構造。RNNのように系列を順に処理せず、系列中のすべての位置の関係を同時に計算するので、並列に学習でき長距離の依存関係も捉えやすい（語順の情報は位置エンコーディングで与える）。GPTやBERTなどの大規模言語モデルの基盤であり、画像や音声のモデルにも使われている。