AIシステムを守るための対策（Security for AI）

AIシステムそのものを攻撃から守るための対策。プロンプトインジェクション、データポイズニング、学習データやモデルの窃取などの脅威に対し、入出力の検証、参照するデータへのアクセス制御、学習データの品質管理などを行う。

AIシステムそのものを攻撃から守るための対策。プロンプトインジェクションやジェイルブレイクに備えた入力と出力の検証、データポイズニングを防ぐ学習データの管理、RAG用のデータへのアクセス制御、モデルの盗用への対策などがある。AIを使ってセキュリティを高めるAI for Securityと対比される。

LLMに悪意ある指示を与えて本来の制約を破らせる攻撃への対策。入力されたプロンプトを検証・フィルタリングする、システムプロンプトと、利用者の入力やWebページ・文書などの外部参照データとを分離して外部データ中の指示に従わせない、LLMに与える権限や接続するツールを最小限にする、重要な操作の前に人間の承認を挟む、といった対策を多層に組み合わせる。完全に防ぐ方法は確立していないため、被害を限定する設計が重要となる。

利用者自身がLLMへの入力に「これまでの指示を無視せよ」といった悪意のある指示を直接書き込み、システムプロンプトの制約を破らせたり、内部の情報を出力させたりする攻撃。入力の検証、出力の監視、LLMに与える権限の最小化などで対策する。

LLMが参照するWebページ、電子メール、文書などの外部データに悪意のある指示を埋め込んでおき、LLMがそれを処理したときに意図しない動作をさせる攻撃。利用者が気づかないうちに情報の外部送信やツールの不正な実行が起こり得るため、外部データを指示として扱わない設計が求められる。

RAG（検索拡張生成）でLLMに参照させる文書やベクトルデータベースに対し、利用者の権限に応じたアクセス制御を行うこと。検索の段階で権限のない文書を除外しないと、本来は閲覧できない機密情報が回答に含まれて漏えいする。参照データへの書込み権限を絞り、悪意ある指示や虚偽の情報を含む文書が混入するのを防ぐことも含む。

生成AIが、事実に基づかない内容や存在しない情報を、もっともらしい文章として出力する現象。大規模言語モデルは学習データからもっともらしい単語の並びを生成するため、架空の文献や誤った数値をそれらしく示すことがある。RAGで根拠となる文書を参照させる、出典を確認する、人間が内容を検証するといった対策をとる。

生成AIのアプリケーションで、利用者の入力とは別に、AIの役割、口調、回答の範囲、禁止事項などをあらかじめ指示するプロンプト。開発者や提供者が設定し、会話全体を通じてAIの振る舞いを方向づける。利用者には見えないことが多く、プロンプトインジェクションによる無効化や内容の漏えいを狙われることがある。