システムプロンプト

利用者の入力とは別に、AIの役割や制約をあらかじめ設定しておく指示。応答の方針や禁止事項を固定し、想定外の振る舞いを抑える。

生成AIのアプリケーションで、利用者の入力とは別に、開発者や管理者があらかじめ与えておく指示。AIの役割、口調、回答の範囲、禁止事項、参照する情報などを定め、すべての対話に共通して適用される。利用者の入力で上書きされないよう、プロンプトインジェクションへの対策も必要になる。

生成AIに、ロールプレイや仮定の状況設定、特殊な言い回しなどを含む入力を与えて、開発者が設けた安全上の制約（ガードレール）を回避させ、本来は拒否される有害な内容を出力させる攻撃。プロンプトインジェクションの一種として扱われることもある。

AIシステムそのものを攻撃や悪用から守るための対策。LLMへのプロンプトインジェクション、学習データに不正なデータを混入させるデータポイズニング、モデルの窃取、RAGを通じた機密情報の漏えいなどの脅威に対し、入出力の検証、外部参照データの分離、参照データへのアクセス制御、学習データの品質と来歴の管理などを行う。AIをセキュリティ対策に活用する「AI for Security」と対になる考え方。

LLMに悪意ある指示を与えて本来の制約を破らせる攻撃への対策。入力されたプロンプトを検証・フィルタリングする、システムプロンプトと、利用者の入力やWebページ・文書などの外部参照データとを分離して外部データ中の指示に従わせない、LLMに与える権限や接続するツールを最小限にする、重要な操作の前に人間の承認を挟む、といった対策を多層に組み合わせる。完全に防ぐ方法は確立していないため、被害を限定する設計が重要となる。

大規模言語モデルのパラメータを更新せずに、プロンプトの中に課題の説明やいくつかの入出力の例を示すだけで、モデルがその場で課題のやり方を把握して回答する能力。例を示さないゼロショット、少数の例を示すフューショット（few-shot）などがあり、プロンプトエンジニアリングの基礎となる。

大規模言語モデルに、答えだけでなく、答えに至る途中の推論の過程を段階的に書き出させる手法。思考の連鎖とも呼ばれ、プロンプトで推論の例を示したり「段階的に考えて」と指示したりする。計算や論理的な推論を要する問題の正答率が向上し、推論の過程を確認しやすくなる。

大規模言語モデルに、推論の途中で複数の考え方の候補を分岐させて木構造のように展開させ、各候補を評価しながら有望なものを選んで探索させる手法。行き詰まったら別の候補に戻って考え直せるため、一本道で推論するCoTより、計画や試行錯誤を要する問題に強い。