IT用語帳
SG2027New情報セキュリティの脅威 · 攻撃手法

直接プロンプトインジェクション

Direct Prompt Injection

ちょくせつぷろんぷといんじぇくしょん

攻撃者が生成AIへの入力欄に、システムが与えた指示を無視させる命令を直接書き込み、制約を外れた回答や内部の情報を引き出すプロンプトインジェクション。AIを利用する本人が攻撃者となる。

共有:

Related

他の資格での定義

Related

関連キーワードの用語

A-1ジェイルブレイク

生成AIに、ロールプレイや仮定の状況設定、特殊な言い回しなどを含む入力を与えて、開発者が設けた安全上の制約(ガードレール)を回避させ、本来は拒否される有害な内容を出力させる攻撃。プロンプトインジェクションの一種として扱われることもある。

SG生成AI

大規模言語モデル等を用いて、テキスト・画像・音声・プログラムコードなどの新たなコンテンツを自動生成するAI技術。業務効率化に活用される一方、ハルシネーション(事実に基づかない出力)やセキュリティリスク、著作権上の課題がある。

SG大規模言語モデル

大量のテキストデータで学習された巨大なニューラルネットワークモデル。自然言語の理解・生成に優れ、生成AIの中核技術として文章作成・要約・翻訳・プログラミング支援などに活用される。プロンプトインジェクションなどのセキュリティリスクへの対策も重要となる。

SGハルシネーション

生成AIが事実に基づかない情報を、あたかも正確であるかのように生成してしまう現象。AIの幻覚とも呼ばれる。AIの出力データを人間が確認することの重要性を示す課題であり、業務利用時のリスクとして認識する必要がある。

IPAI生成物の著作権

生成AIが作成したコンテンツに関する著作権上の論点。著作権法第30条の4により、AI学習目的の著作物利用は原則として許容されるが、享受目的が併存する場合は適用されない。AI生成物が既存の著作物に類似している場合、依拠性と類似性が認められれば著作権侵害となり得る。AI自体は著作者にはなれない。

IPプロンプトインジェクション

大規模言語モデル(LLM)などの生成AIに対して、悪意のある指示や入力を与えることで、本来の制約やガードレールを回避させ、意図しない動作や情報漏えいを引き起こす攻撃手法。直接的な入力によるものと、外部データに攻撃文を埋め込む間接的なものがある。