プロンプトインジェクション
Prompt Injection
ぷろんぷといんじぇくしょん
大規模言語モデル(LLM)などの生成AIに対して、悪意のある指示や入力を与えることで、本来の制約やガードレールを回避させ、意図しない動作や情報漏えいを引き起こす攻撃手法。直接的な入力によるものと、外部データに攻撃文を埋め込む間接的なものがある。
Related
他の資格での定義
生成AIに対して悪意のある指示(プロンプト)を挿入し、本来の制約を回避させて不正な出力を引き出す攻撃手法。AIシステムのセキュリティ上の新たな脅威として認識されている。
生成AIへの入力に不正な指示を紛れ込ませ、本来の制約を無視した回答や内部情報の開示をさせる攻撃。参照させる文書の中に指示を埋め込む手口もあり、入力と出力の検査が対策となる。
生成AIへの入力に、開発者が与えた指示を打ち消す命令を紛れ込ませ、意図しない出力や機密情報の開示を引き起こす攻撃。外部から取り込んだ文書に命令を仕込む間接的な手口もあり、入出力の検査と権限の限定が対策となる。
大規模言語モデル(LLM)などの生成AIに対して、悪意のある指示や入力を与えることで、本来の制約やガードレールを回避させ、意図しない動作や情報漏えいを引き起こす攻撃手法。直接的な入力によるものと、外部データに攻撃文を埋め込む間接的なものがある。
生成AIに対して悪意のある指示(プロンプト)を挿入し、本来の制約を回避させて不正な出力を引き出す攻撃手法。AIシステムのセキュリティ上の新たな脅威として認識されている。
LLMを使ったアプリケーションに、システムプロンプトなど開発者の指示を上書きする悪意のある入力を与え、想定外の応答や操作をさせる攻撃。利用者が直接入力する直接型と、LLMが読み込む外部データに指示を埋め込む間接型があり、機密情報の漏えいや、LLMに連携したツールの不正な実行につながる。
Related
関連キーワードの用語
ネットワークやコンピュータシステムに対して、不正アクセス、データの窃取・破壊、サービスの妨害などを行う悪意のある行為の総称。
人間の心理的な弱点を突いて機密情報を不正に入手する手法。電話で管理者を装ってパスワードを聞き出す、肩越しに画面を覗き見る(ショルダーハッキング)などがある。
他人のIDやパスワード、メールアドレスなどを不正に使用して、正規のユーザーや組織を装う行為。不正アクセスや詐欺行為の手段として利用される。
悪意を持ってコンピュータシステムに不正に侵入したり、ソフトウェアの保護機能を解除したりする行為。ハッキングとは異なり、違法・不正な目的で行われる。
辞書に載っている単語や、よく使われるパスワードのリストを順に試してパスワードを解読する攻撃手法。推測しやすいパスワードに対して有効な手法。
パスワードなどの認証情報を、すべての文字の組み合わせを総当たりで試して解読する攻撃手法。時間はかかるが、理論上はどんなパスワードも解読可能。
