プロンプトインジェクション

大規模言語モデル（LLM）などの生成AIに対して、悪意のある指示や入力を与えることで、本来の制約やガードレールを回避させ、意図しない動作や情報漏えいを引き起こす攻撃手法。直接的な入力によるものと、外部データに攻撃文を埋め込む間接的なものがある。

生成AIに対して悪意のある指示（プロンプト）を挿入し、本来の制約を回避させて不正な出力を引き出す攻撃手法。AIシステムのセキュリティ上の新たな脅威として認識されている。

生成AIへの入力に不正な指示を紛れ込ませ、本来の制約を無視した回答や内部情報の開示をさせる攻撃。参照させる文書の中に指示を埋め込む手口もあり、入力と出力の検査が対策となる。

生成AIへの入力に、開発者が与えた指示を打ち消す命令を紛れ込ませ、意図しない出力や機密情報の開示を引き起こす攻撃。外部から取り込んだ文書に命令を仕込む間接的な手口もあり、入出力の検査と権限の限定が対策となる。

大規模言語モデル（LLM）などの生成AIに対して、悪意のある指示や入力を与えることで、本来の制約やガードレールを回避させ、意図しない動作や情報漏えいを引き起こす攻撃手法。直接的な入力によるものと、外部データに攻撃文を埋め込む間接的なものがある。

生成AIに対して悪意のある指示（プロンプト）を挿入し、本来の制約を回避させて不正な出力を引き出す攻撃手法。AIシステムのセキュリティ上の新たな脅威として認識されている。

生成AIが、事実に基づかない内容や存在しない情報を、もっともらしい文章として出力する現象。大規模言語モデルは学習データからもっともらしい単語の並びを生成するため、架空の文献や誤った数値をそれらしく示すことがある。RAGで根拠となる文書を参照させる、出典を確認する、人間が内容を検証するといった対策をとる。

大規模言語モデル等を用いて、テキスト・画像・音声・プログラムコードなどの新たなコンテンツを自動生成するAI技術。業務効率化に活用される一方、ハルシネーション（事実に基づかない出力）やセキュリティリスク、著作権上の課題がある。

大規模言語モデルを使うアプリケーションで、入力や参照する外部の文書に紛れ込ませた指示によってモデルが本来の指示に反する動作をさせられることを防ぐ対策。システムの指示と利用者の入力・外部のデータを区別して扱う、入力と出力を検査するガードレールを設ける、モデルに与える権限やツールを必要最小限にし、重要な操作には人の確認を挟む、などを組み合わせる。

AIシステムそのものを攻撃や悪用から守るための対策。LLMへのプロンプトインジェクション、学習データに不正なデータを混入させるデータポイズニング、モデルの窃取、RAGを通じた機密情報の漏えいなどの脅威に対し、入出力の検証、外部参照データの分離、参照データへのアクセス制御、学習データの品質と来歴の管理などを行う。AIをセキュリティ対策に活用する「AI for Security」と対になる考え方。

RAG（検索拡張生成）でLLMに参照させる文書やベクトルデータベースに対し、利用者の権限に応じたアクセス制御を行うこと。検索の段階で権限のない文書を除外しないと、本来は閲覧できない機密情報が回答に含まれて漏えいする。参照データへの書込み権限を絞り、悪意ある指示や虚偽の情報を含む文書が混入するのを防ぐことも含む。

生成AIなどのAIサービスで、利用者が入力したデータをモデルの学習や改善に利用することについて、利用者が拒否（オプトアウト）できる条件や手段を定めた方針。既定で学習に使うか、設定や申請で除外できるか、法人向けの契約では使わないかなどはサービスによって異なるため、業務で使う前に確認し、機密情報や個人情報を入力しない運用と組み合わせる。