敵対的サンプル

人間には気付けないわずかな加工を加え、AIに誤認識させるよう作られた入力データ。標識の画像に小さなノイズを乗せて別の標識と判定させるなど、AIを利用したシステムへの攻撃手段となる。

人間には気付けない微小な変更を加えて、AIに誤った判定をさせるよう作られた入力データ。画像認識や不正検知を回避する攻撃に使われ、AIを組み込んだシステムの新たな脅威となる。

人には違いが分からない微小な変更を加えて、AIに誤った判断をさせるように作られたデータ。標識に小さな細工をして自動運転車に誤認させるなど、AIを狙った脅威として問題になっている。

機械学習モデルに対し、人間には知覚できない微小なノイズや変更を入力データに加えることで、AIの判定結果を意図的に誤らせる攻撃手法、またはそのために加工されたデータ。画像認識の誤判定誘導やマルウェア検知の回避などに悪用される。推論時（利用時）の攻撃に分類される。

機械学習モデルに対し、人間には知覚できない微小なノイズや変更を入力データに加えることで、AIの判定結果を意図的に誤らせる攻撃手法、またはそのために加工されたデータ。画像認識の誤判定誘導やマルウェア検知の回避などに悪用される。推論時（利用時）の攻撃に分類される。

人間には見分けがつかない程度の微小なノイズを入力データに加え、機械学習モデルに誤った分類や判断をさせるように細工したデータ。画像認識で道路標識を別の標識と誤認させる例が知られ、こうした入力でモデルを欺く攻撃は回避攻撃とも呼ばれる。

生成AIへの入力に、開発者が与えた指示を打ち消す命令を紛れ込ませ、意図しない出力や機密情報の開示を引き起こす攻撃。外部から取り込んだ文書に命令を仕込む間接的な手口もあり、入出力の検査と権限の限定が対策となる。

機械学習モデルへの入力と出力の関係を繰り返し観測し、学習に使われた訓練データを復元する攻撃。個人情報を含むデータで学習したモデルからのプライバシー侵害につながる。出力の粒度制限や差分プライバシーで対策する。

機械学習モデルの応答の違いから、特定のデータが訓練データに含まれていたかどうかを判定する攻撃。病歴データで学習したモデルなどでは、含まれていたこと自体が機微情報の漏えいとなる。

金融機関やECサイトなど信頼できる組織を装った偽のメールやWebサイトでユーザーを誘導し、IDやパスワード、クレジットカード番号などの個人情報を詐取する攻撃手法。スミッシング（SMSを利用）やスピアフィッシング（標的型）もある。

Webアプリケーションの入力値にSQL文の断片を挿入し、意図しないSQL文をデータベースに実行させる攻撃手法。データの不正取得、改ざん、削除が可能になる。プレースホルダ（バインド変数）の使用やエスケープ処理が主な対策。

Webアプリケーションの脆弱性を利用して、悪意のあるスクリプトをWebページに埋め込み、閲覧者のブラウザ上で実行させる攻撃手法。XSSと略され、Cookie窃取やセッションハイジャックに悪用される。入力値のサニタイジング（エスケープ処理）が主な対策。