スポット型利用

クラウド事業者の余っている計算資源を、通常の従量課金より大幅に安い料金で利用する方式。事業者の都合で短い予告の後に中断されることがあるため、中断されても再実行できるバッチ処理、機械学習の学習、並列のデータ処理などに向き、中断が許されない処理には使わない。

大規模言語モデルのAPIで、リクエストの先頭部分（システムプロンプト、ツールの定義、参照文書など）が前回と一致する場合に、その部分の計算結果を再利用して、応答の速さと入力トークンの料金を改善する仕組み。先頭からの完全一致が条件なので、変わらない内容を前に、毎回変わる内容を後ろに置くようプロンプトを構成する。キャッシュは一定時間で失効し、提供者により自動適用のものと明示的な指定が要るものがある。