IT用語帳
A-1情報セキュリティの脅威 · 攻撃手法

敵対的サンプル

Adversarial Examples

てきたいてきさんぷる

人間には見分けがつかない程度の微小なノイズを入力データに加え、機械学習モデルに誤った分類や判断をさせるように細工したデータ。画像認識で道路標識を別の標識と誤認させる例が知られ、こうした入力でモデルを欺く攻撃は回避攻撃とも呼ばれる。

共有:

Related

他の資格での定義

IP敵対的サンプル

人間には気付けないわずかな加工を加え、AIに誤認識させるよう作られた入力データ。標識の画像に小さなノイズを乗せて別の標識と判定させるなど、AIを利用したシステムへの攻撃手段となる。

SG敵対的サンプル

人間には気付けない微小な変更を加えて、AIに誤った判定をさせるよう作られた入力データ。画像認識や不正検知を回避する攻撃に使われ、AIを組み込んだシステムの新たな脅威となる。

FE敵対的サンプル

人には違いが分からない微小な変更を加えて、AIに誤った判断をさせるように作られたデータ。標識に小さな細工をして自動運転車に誤認させるなど、AIを狙った脅威として問題になっている。

AP敵対的サンプル

人間には気付けないほど微小な摂動を加えて、機械学習モデルにわざと誤認識させる入力データ。標識に小さな細工をして自動運転の認識を誤らせるなどの脅威があり、敵対的学習や入力の前処理で頑健性を高める。

SC敵対的サンプル

機械学習モデルに対し、人間には知覚できない微小なノイズや変更を入力データに加えることで、AIの判定結果を意図的に誤らせる攻撃手法、またはそのために加工されたデータ。画像認識の誤判定誘導やマルウェア検知の回避などに悪用される。推論時(利用時)の攻撃に分類される。

PD-S敵対的サンプル

機械学習モデルに対し、人間には知覚できない微小なノイズや変更を入力データに加えることで、AIの判定結果を意図的に誤らせる攻撃手法、またはそのために加工されたデータ。画像認識の誤判定誘導やマルウェア検知の回避などに悪用される。推論時(利用時)の攻撃に分類される。

Related

関連キーワードの用語

A-1AIを使ったセキュリティ技術(AI for Security)

機械学習や生成AIを、サイバー攻撃の検知や対応に活用する技術。通信やログの異常検知、未知のマルウェアの判定、フィッシングメールの識別、SOCでのアラートの優先順位付けやインシデント分析の支援などに使われる。AIシステム自体を攻撃から守る「Security for AI」と対になる考え方。

A-1データポイズニング

機械学習モデルの学習データに攻撃者が細工したデータを混入させ、モデルに誤った判断をさせたり、特定の入力のときだけ攻撃者の意図した出力をするバックドアを仕込んだりする攻撃。学習データの出所の管理や品質の検証で対策する。

A-1モデルインバージョン攻撃

機械学習モデルに入力を与えて得られる出力(予測結果や確信度)を繰り返し分析し、学習に使われたデータの特徴、例えば顔認識モデルの学習に使われた人物の顔画像などを推定・復元する攻撃。学習データに含まれる個人情報のプライバシーを侵害するおそれがある。

A-1MLOps

機械学習モデルの開発から本番での運用、監視、再学習までを、継続的かつ自動的に回すための考え方と仕組み。DevOpsを機械学習に適用し、データとモデルの版管理、学習パイプラインの自動化、本番データの変化による精度の劣化(ドリフト)の検知などを行う。

A-1線形代数

ベクトルや行列を使って、線形な関係(足し算と定数倍で表せる関係)を扱う数学の分野。連立一次方程式の解法、座標の変換、固有値などを扱い、機械学習のモデルの計算、文書などをベクトルで表した類似度の計算、画像処理の基礎になる。

IP特徴量

機械学習においてデータの特徴を数値化したもの。画像であれば色やエッジ、テキストであれば単語の出現頻度など、学習や予測に使う入力データの属性を表す。