AIを悪用した攻撃

AI技術を攻撃ツールとして悪用するサイバー攻撃の総称。ディープフェイクによるなりすまし、AIによるフィッシングメールの自動生成、マルウェアコードの生成、脆弱性の自動探索などが含まれる。IPA「情報セキュリティ10大脅威 2026」で初めてランクインした新たな脅威カテゴリである。

機械学習モデルに対し、人間には知覚できない微小なノイズや変更を入力データに加えることで、AIの判定結果を意図的に誤らせる攻撃手法、またはそのために加工されたデータ。画像認識の誤判定誘導やマルウェア検知の回避などに悪用される。推論時（利用時）の攻撃に分類される。

AIモデルの学習に使用される訓練データに悪意のあるデータを混入させることで、モデルの判定精度を低下させたり、特定の誤動作を引き起こす攻撃手法。敵対的サンプルが推論時の攻撃であるのに対し、データポイズニングは学習時の攻撃である点が異なる。

大規模言語モデル（LLM）などの生成AIに対して、悪意のある指示や入力を与えることで、本来の制約やガードレールを回避させ、意図しない動作や情報漏えいを引き起こす攻撃手法。直接的な入力によるものと、外部データに攻撃文を埋め込む間接的なものがある。

AI技術（特にディープラーニング）を用いて、人物の顔や声を精巧に合成・改変する技術、またはその生成物。ビジネスメール詐欺（BEC）やなりすましによるソーシャルエンジニアリング攻撃に悪用されるリスクがあり、音声・映像の真正性検証が課題となっている。