プロンプトインジェクション
Prompt Injection
ぷろんぷといんじぇくしょん
大規模言語モデル(LLM)などの生成AIに対して、悪意のある指示や入力を与えることで、本来の制約やガードレールを回避させ、意図しない動作や情報漏えいを引き起こす攻撃手法。直接的な入力によるものと、外部データに攻撃文を埋め込む間接的なものがある。
Related
他の資格での定義
Related
関連キーワードの用語
機械学習モデルに対し、人間には知覚できない微小なノイズや変更を入力データに加えることで、AIの判定結果を意図的に誤らせる攻撃手法、またはそのために加工されたデータ。画像認識の誤判定誘導やマルウェア検知の回避などに悪用される。推論時(利用時)の攻撃に分類される。
AIモデルの学習に使用される訓練データに悪意のあるデータを混入させることで、モデルの判定精度を低下させたり、特定の誤動作を引き起こす攻撃手法。敵対的サンプルが推論時の攻撃であるのに対し、データポイズニングは学習時の攻撃である点が異なる。
大規模言語モデル等を用いて、テキスト・画像・音声・プログラムコードなどの新たなコンテンツを自動生成するAI技術。業務効率化に活用される一方、ハルシネーション(事実に基づかない出力)やセキュリティリスク、著作権上の課題がある。
AI技術(特にディープラーニング)を用いて、人物の顔や声を精巧に合成・改変する技術、またはその生成物。ビジネスメール詐欺(BEC)やなりすましによるソーシャルエンジニアリング攻撃に悪用されるリスクがあり、音声・映像の真正性検証が課題となっている。
AI技術を攻撃ツールとして悪用するサイバー攻撃の総称。ディープフェイクによるなりすまし、AIによるフィッシングメールの自動生成、マルウェアコードの生成、脆弱性の自動探索などが含まれる。IPA「情報セキュリティ10大脅威 2026」で初めてランクインした新たな脅威カテゴリである。
生成AIが作成したコンテンツに関する著作権上の論点。著作権法第30条の4により、AI学習目的の著作物利用は原則として許容されるが、享受目的が併存する場合は適用されない。AI生成物が既存の著作物に類似している場合、依拠性と類似性が認められれば著作権侵害となり得る。AI自体は著作者にはなれない。
