AIエージェント

目標を与えると、必要な手順を自ら計画してツールを操作しながら作業を進めるAI。人間の関与をどこに残すかの設計が、安全な利用の鍵となる。

与えられた目標を達成するために、環境を感知し、計画を立て、外部のツールやシステムを操作しながら自律的にタスクを実行するAIシステム。大規模言語モデルを中核にして、検索、プログラムの実行、他のシステムへの書込みなどを自ら組み合わせて進める。人間の意図しない操作をするおそれがあるため、権限の設定や人間による確認が重要になる。

生成AIのアプリケーションで、利用者の入力とは別に、開発者や管理者があらかじめ与えておく指示。AIの役割、口調、回答の範囲、禁止事項、参照する情報などを定め、すべての対話に共通して適用される。利用者の入力で上書きされないよう、プロンプトインジェクションへの対策も必要になる。

大規模言語モデルを使うアプリケーションで、入力や参照する外部の文書に紛れ込ませた指示によってモデルが本来の指示に反する動作をさせられることを防ぐ対策。システムの指示と利用者の入力・外部のデータを区別して扱う、入力と出力を検査するガードレールを設ける、モデルに与える権限やツールを必要最小限にし、重要な操作には人の確認を挟む、などを組み合わせる。

生成AIに、ロールプレイや仮定の状況設定、特殊な言い回しなどを含む入力を与えて、開発者が設けた安全上の制約（ガードレール）を回避させ、本来は拒否される有害な内容を出力させる攻撃。プロンプトインジェクションの一種として扱われることもある。