敵対的サンプル

人間には気付けないわずかな加工を加え、AIに誤認識させるよう作られた入力データ。標識の画像に小さなノイズを乗せて別の標識と判定させるなど、AIを利用したシステムへの攻撃手段となる。

人間には気付けない微小な変更を加えて、AIに誤った判定をさせるよう作られた入力データ。画像認識や不正検知を回避する攻撃に使われ、AIを組み込んだシステムの新たな脅威となる。

人間には気付けないほど微小な摂動を加えて、機械学習モデルにわざと誤認識させる入力データ。標識に小さな細工をして自動運転の認識を誤らせるなどの脅威があり、敵対的学習や入力の前処理で頑健性を高める。

機械学習モデルに対し、人間には知覚できない微小なノイズや変更を入力データに加えることで、AIの判定結果を意図的に誤らせる攻撃手法、またはそのために加工されたデータ。画像認識の誤判定誘導やマルウェア検知の回避などに悪用される。推論時（利用時）の攻撃に分類される。

機械学習モデルに対し、人間には知覚できない微小なノイズや変更を入力データに加えることで、AIの判定結果を意図的に誤らせる攻撃手法、またはそのために加工されたデータ。画像認識の誤判定誘導やマルウェア検知の回避などに悪用される。推論時（利用時）の攻撃に分類される。

人間には見分けがつかない程度の微小なノイズを入力データに加え、機械学習モデルに誤った分類や判断をさせるように細工したデータ。画像認識で道路標識を別の標識と誤認させる例が知られ、こうした入力でモデルを欺く攻撃は回避攻撃とも呼ばれる。

生成AIへの入力に不正な指示を紛れ込ませ、本来の制約を無視した回答や内部情報の開示をさせる攻撃。参照させる文書の中に指示を埋め込む手口もあり、入力と出力の検査が対策となる。

AI技術（深層学習）を用いて、人物の顔や声を精巧に偽造・合成する技術、またはその成果物。なりすまし動画や音声の作成に悪用され、ビジネスメール詐欺や世論操作などに利用されるリスクがある。

機械学習モデルへの入力と出力の関係を繰り返し観測し、学習に使われた訓練データを復元する攻撃。個人情報を含むデータで学習したモデルからのプライバシー侵害につながる。出力の粒度制限や差分プライバシーで対策する。

機械学習モデルの応答の違いから、特定のデータが訓練データに含まれていたかどうかを判定する攻撃。病歴データで学習したモデルなどでは、含まれていたこと自体が機微情報の漏えいとなる。

各拠点が持つデータを外部へ持ち出さず、学習によって得られたモデルの更新情報だけを集約して共通のモデルを構築する機械学習手法。データを集中させないためプライバシーや機密性の確保に有利。

AIの入力と出力に制限を設け、危険な内容や規程違反を防ぐ仕組み。安全性への配慮、倫理的配慮、法令遵守の観点から、許容範囲をあらかじめ定めておく。