システムプロンプト

利用者の入力とは別に、AIの役割や制約をあらかじめ設定しておく指示。応答の方針や禁止事項を固定し、想定外の振る舞いを抑える。

生成AIのアプリケーションで、利用者の入力とは別に、AIの役割、口調、回答の範囲、禁止事項などをあらかじめ指示するプロンプト。開発者や提供者が設定し、会話全体を通じてAIの振る舞いを方向づける。利用者には見えないことが多く、プロンプトインジェクションによる無効化や内容の漏えいを狙われることがある。

生成AIに、ロールプレイや仮定の状況設定、特殊な言い回しなどを含む入力を与えて、開発者が設けた安全上の制約（ガードレール）を回避させ、本来は拒否される有害な内容を出力させる攻撃。プロンプトインジェクションの一種として扱われることもある。

与えられた目標を達成するために、環境を感知し、計画を立て、外部のツールやシステムを操作しながら自律的に行動するAIシステム。AI事業者ガイドライン第1.2版でも定義された。影響の大きい操作には人間の承認を挟む、権限を必要最小限に絞る、ガードレールを設けるなどの統制が求められる。

大規模言語モデルに、最終的な答えだけでなく、そこに至る途中の推論の手順を順に書き出させる手法で、思考の連鎖ともいう。プロンプトで推論過程の例を示したり、「段階的に考えて」と指示したりすることで、計算や論理的な推論を要する問題の正答率が上がる。推論の過程を内部で長く行うよう学習した推論モデルも登場している。

大規模言語モデルやAIエージェントがよい結果を出せるよう、コンテキストウィンドウに入れる情報全体を設計・管理すること。システムプロンプト、ツールの定義、検索で取り出した文書、記憶、会話の履歴などから、その時点で必要な情報を選び、要約や圧縮をして、適切な順序で渡す。指示文の書き方を工夫するプロンプトエンジニアリングより広い考え方で、長い入力による性能の劣化（コンテキスト腐敗）への対策にもなる。

作業を決まった順序の複数の段階に分け、各段階の大規模言語モデルの出力を次の段階の入力にして順に処理するAIエージェントのワークフロー。段階の間にプログラムによる検査（関門）を挟んで途中の結果を確かめられる。1回で全部を行わせるより各段階が易しくなって精度が上がるが、呼出しの回数だけ時間がかかる。

大規模言語モデルを使うアプリケーションで、入力や参照する外部の文書に紛れ込ませた指示によってモデルが本来の指示に反する動作をさせられることを防ぐ対策。システムの指示と利用者の入力・外部のデータを区別して扱う、入力と出力を検査するガードレールを設ける、モデルに与える権限やツールを必要最小限にし、重要な操作には人の確認を挟む、などを組み合わせる。