プロンプトインジェクション

大規模言語モデル（LLM）などの生成AIに対して、悪意のある指示や入力を与えることで、本来の制約やガードレールを回避させ、意図しない動作や情報漏えいを引き起こす攻撃手法。直接的な入力によるものと、外部データに攻撃文を埋め込む間接的なものがある。

生成AIに対して悪意のある指示（プロンプト）を挿入し、本来の制約を回避させて不正な出力を引き出す攻撃手法。AIシステムのセキュリティ上の新たな脅威として認識されている。

生成AIへの入力に不正な指示を紛れ込ませ、本来の制約を無視した回答や内部情報の開示をさせる攻撃。参照させる文書の中に指示を埋め込む手口もあり、入力と出力の検査が対策となる。

生成AIへの入力に、開発者が与えた指示を打ち消す命令を紛れ込ませ、意図しない出力や機密情報の開示を引き起こす攻撃。外部から取り込んだ文書に命令を仕込む間接的な手口もあり、入出力の検査と権限の限定が対策となる。

大規模言語モデル（LLM）などの生成AIに対して、悪意のある指示や入力を与えることで、本来の制約やガードレールを回避させ、意図しない動作や情報漏えいを引き起こす攻撃手法。直接的な入力によるものと、外部データに攻撃文を埋め込む間接的なものがある。

LLMを使ったアプリケーションに、システムプロンプトなど開発者の指示を上書きする悪意のある入力を与え、想定外の応答や操作をさせる攻撃。利用者が直接入力する直接型と、LLMが読み込む外部データに指示を埋め込む間接型があり、機密情報の漏えいや、LLMに連携したツールの不正な実行につながる。

人間には気付けないほど微小な摂動を加えて、機械学習モデルにわざと誤認識させる入力データ。標識に小さな細工をして自動運転の認識を誤らせるなどの脅威があり、敵対的学習や入力の前処理で頑健性を高める。

機械学習モデルへの入力と出力の関係を繰り返し観測し、学習に使われた訓練データを復元する攻撃。個人情報を含むデータで学習したモデルからのプライバシー侵害につながる。出力の粒度制限や差分プライバシーで対策する。

機械学習モデルの応答の違いから、特定のデータが訓練データに含まれていたかどうかを判定する攻撃。病歴データで学習したモデルなどでは、含まれていたこと自体が機微情報の漏えいとなる。

AIの入力と出力に制限を設け、危険な内容や規程違反を防ぐ仕組み。安全性への配慮、倫理的配慮、法令遵守の観点から、許容範囲をあらかじめ定めておく。

Webアプリケーションの入力値を通じて不正なSQL文を挿入・実行させる攻撃手法。データの不正取得、改ざん、削除などが可能になる。対策としてプレースホルダ（バインド機構）の使用、入力値の検証、エスケープ処理、最小権限のDBアカウント使用がある。

Webアプリケーションの脆弱性を利用して、悪意のあるスクリプトをWebページに埋め込む攻撃。反射型、格納型、DOMベースの3種類がある。対策として出力時のHTMLエスケープ、Content-Security-Policy（CSP）ヘッダの設定、入力値の検証がある。