コンテキストウィンドウ
Context Window
こんてきすとうぃんどう
大規模言語モデルが1回の処理で扱えるトークン数の上限。システムプロンプト、会話の履歴、参照させる文書、生成する出力の合計がこの範囲に収まる必要があり、超えた部分は切り捨てられるか、要約などで縮める必要がある。上限が大きいモデルでも、長い入力の中ほどの情報が見落とされる(Lost in the Middle)ことがあるので、渡す情報を選んで構成する。
Related
他の資格での定義
Related
関連キーワードの用語
大規模言語モデルのAPIで、リクエストの先頭部分(システムプロンプト、ツールの定義、参照文書など)が前回と一致する場合に、その部分の計算結果を再利用して、応答の速さと入力トークンの料金を改善する仕組み。先頭からの完全一致が条件なので、変わらない内容を前に、毎回変わる内容を後ろに置くようプロンプトを構成する。キャッシュは一定時間で失効し、提供者により自動適用のものと明示的な指定が要るものがある。
AIエージェントが、会話やセッションをまたいで保持する情報。利用者の好み、過去のやり取りの要点、作業から得た知識などを外部の記憶装置(ベクトルデータベースやファイル)に保存し、必要なときに検索してコンテキストに加える。会話の履歴などコンテキストウィンドウ内に置く短期記憶と対比され、古い情報や誤った情報の更新・削除、個人情報の扱いの管理が要る。
AIエージェントに特定の作業の手順や知識を与える「スキル」(説明と指示を書いたSKILL.mdと、参照資料、テンプレート、スクリプトをまとめたもの)を設計するときの典型的な型。必要になったときだけスキルの中身を読み込ませる前提で、規約を教えるTool Wrapper、テンプレートで出力をそろえるGenerator、チェックリストで評価するReviewer、作業の前に利用者へ質問するInversion、検証の関門を挟んで手順を順に進めるPipelineの5つが示されており、組み合わせて使う。
特定のライブラリ、フレームワーク、APIの規約や使い方を参照資料としてスキルにまとめ、エージェントがその技術を扱うときだけ読み込ませるスキル設計パターン。常にプロンプトへ入れておく必要がないのでコンテキストを節約でき、エージェントはその技術の専門家のように規約に沿った作業を行える。
利用者IDや有効期限などの情報(クレーム)をJSONで表し、デジタル署名やMACを付けて改ざんを検知できるようにしたトークン。署名付きのJWTは、ヘッダー・ペイロード・署名をそれぞれBase64URLで符号化し、ピリオドでつないだ文字列で表す。OpenID ConnectのIDトークンやAPIのアクセストークンに使われ、受け取った側が署名とアルゴリズム(alg)を正しく検証しないと、改ざんされたトークンや署名のないトークン(alg=none)を受け入れてしまう。
ログイン中の利用者に攻撃者が用意した罠のWebページを閲覧させ、利用者が意図しないリクエスト(送金、設定の変更、書込みなど)を正規のWebサイトへ送信させる攻撃。利用者のセッションのまま処理されるため、推測が困難なトークンの照合や、重要な操作の前の再認証で対策する。
