プロンプトキャッシュ
Prompt Caching
ぷろんぷときゃっしゅ
大規模言語モデルのAPIで、リクエストの先頭部分（システムプロンプト、ツールの定義、参照文書など）が前回と一致する場合に、その部分の計算結果を再利用して、応答の速さと入力トークンの料金を改善する仕組み。先頭からの完全一致が条件なので、変わらない内容を前に、毎回変わる内容を後ろに置くようプロンプトを構成する。キャッシュは一定時間で失効し、提供者により自動適用のものと明示的な指定が要るものがある。
Related
関連キーワードの用語
大規模言語モデルが1回の処理で入力と出力を合わせて扱えるトークン数の上限。プロンプト、会話の履歴、参照させる文書などはこの範囲に収める必要があり、超えた部分はモデルが参照できない。大きいほど長い文書を扱えるが、計算量と費用が増え、長い入力の中ほどの情報を見落としやすくなることもある。
クラウド事業者の余っている計算資源を、通常の従量課金より大幅に安い料金で利用する方式。事業者の都合で短い予告の後に中断されることがあるため、中断されても再実行できるバッチ処理、機械学習の学習、並列のデータ処理などに向き、止められない処理には使わない。
学習したデータの特徴をもとに、文章、画像、音声、動画、プログラムなどのコンテンツを新たに作り出すAI。大規模言語モデルを使った対話、要約、文書作成などに広く使われる。もっともらしい誤り（ハルシネーション）を出力することがあるため、RAGによる根拠の付与や人間による確認と組み合わせて使う。
2017年の論文「Attention Is All You Need」で提案された、自己注意機構を中心とするニューラルネットワークの構造。RNNのように系列を順に処理せず、系列中のすべての位置の関係を同時に計算するので、並列に学習でき長距離の依存関係も捉えやすい（語順の情報は位置エンコーディングで与える）。GPTやBERTなどの大規模言語モデルの基盤であり、画像や音声のモデルにも使われている。
大規模言語モデルが文章を処理するときの最小単位。文章はトークナイザによって、単語やその一部（サブワード）、文字、バイト列に分割され、それぞれが番号に置き換えられて入力される。日本語では1文字が1トークン以上になることも多く、モデルが一度に扱える長さ（コンテキストウィンドウ）やAPIの利用料金はトークン数で決まる。
正解ラベルの付いていないデータから、データ自身の一部を隠して残りから当てさせるなどの方法で正解を自動的に作り、教師あり学習の形で学習する手法。文章の次の単語の予測（GPT）や穴埋め（BERT）、同じ画像を加工した組を近づける対比学習がある。人手のラベル付けなしに大量のデータで学習できるので、大規模言語モデルなどの事前学習に使われる。