プロンプトインジェクション対策

LLMに悪意ある指示を与えて本来の制約を破らせる攻撃への対策。入力されたプロンプトを検証・フィルタリングする、システムプロンプトと、利用者の入力やWebページ・文書などの外部参照データとを分離して外部データ中の指示に従わせない、LLMに与える権限や接続するツールを最小限にする、重要な操作の前に人間の承認を挟む、といった対策を多層に組み合わせる。完全に防ぐ方法は確立していないため、被害を限定する設計が重要となる。

大規模言語モデル等を用いて、テキスト・画像・音声・プログラムコードなどの新たなコンテンツを自動生成するAI技術。業務効率化に活用される一方、ハルシネーション（事実に基づかない出力）やセキュリティリスク、著作権上の課題がある。

大規模言語モデル（LLM）などの生成AIに対して、悪意のある指示や入力を与えることで、本来の制約やガードレールを回避させ、意図しない動作や情報漏えいを引き起こす攻撃手法。直接的な入力によるものと、外部データに攻撃文を埋め込む間接的なものがある。

生成AIが、事実に基づかない内容や存在しない情報を、もっともらしい文章として出力する現象。大規模言語モデルは学習データからもっともらしい単語の並びを生成するため、架空の文献や誤った数値をそれらしく示すことがある。RAGで根拠となる文書を参照させる、出典を確認する、人間が内容を検証するといった対策をとる。

生成AIに、ロールプレイや仮定の状況設定、特殊な言い回しなどを含む入力を与えて、開発者が設けた安全上の制約（ガードレール）を回避させ、本来は拒否される有害な内容を出力させる攻撃。プロンプトインジェクションの一種として扱われることもある。

大量のテキストデータで学習された巨大なニューラルネットワークモデル。自然言語の理解・生成に優れ、生成AIの中核技術として文章作成・要約・翻訳・プログラミング支援などに活用される。プロンプトインジェクションなどのセキュリティリスクへの対策も重要となる。

生成AIが作成したコンテンツに関する著作権上の論点。著作権法第30条の4により、AI学習目的の著作物利用は原則として許容されるが、享受目的が併存する場合は適用されない。AI生成物が既存の著作物に類似している場合、依拠性と類似性が認められれば著作権侵害となり得る。AI自体は著作者にはなれない。