ジェイルブレイク

生成AIに、ロールプレイや仮定の状況設定、特殊な言い回しなどを含む入力を与えて、開発者が設けた安全上の制約（ガードレール）を回避させ、本来は拒否される有害な内容を出力させる攻撃。プロンプトインジェクションの一種として扱われることもある。

大規模言語モデルを使うアプリケーションで、入力や参照する外部の文書に紛れ込ませた指示によってモデルが本来の指示に反する動作をさせられることを防ぐ対策。システムの指示と利用者の入力・外部のデータを区別して扱う、入力と出力を検査するガードレールを設ける、モデルに与える権限やツールを必要最小限にし、重要な操作には人の確認を挟む、などを組み合わせる。

大規模言語モデル等を用いて、テキスト・画像・音声・プログラムコードなどの新たなコンテンツを自動生成するAI技術。業務効率化に活用される一方、ハルシネーション（事実に基づかない出力）やセキュリティリスク、著作権上の課題がある。

大量のテキストデータで学習された巨大なニューラルネットワークモデル。自然言語の理解・生成に優れ、生成AIの中核技術として文章作成・要約・翻訳・プログラミング支援などに活用される。プロンプトインジェクションなどのセキュリティリスクへの対策も重要となる。

生成AIが事実に基づかない情報を、あたかも正確であるかのように生成してしまう現象。AIの幻覚とも呼ばれる。AIの出力データを人間が確認することの重要性を示す課題であり、業務利用時のリスクとして認識する必要がある。

生成AIが作成したコンテンツに関する著作権上の論点。著作権法第30条の4により、AI学習目的の著作物利用は原則として許容されるが、享受目的が併存する場合は適用されない。AI生成物が既存の著作物に類似している場合、依拠性と類似性が認められれば著作権侵害となり得る。AI自体は著作者にはなれない。

大規模言語モデル（LLM）などの生成AIに対して、悪意のある指示や入力を与えることで、本来の制約やガードレールを回避させ、意図しない動作や情報漏えいを引き起こす攻撃手法。直接的な入力によるものと、外部データに攻撃文を埋め込む間接的なものがある。