プロンプトインジェクション対策

大規模言語モデルを使うアプリケーションで、入力や参照する外部の文書に紛れ込ませた指示によってモデルが本来の指示に反する動作をさせられることを防ぐ対策。システムの指示と利用者の入力・外部のデータを区別して扱う、入力と出力を検査するガードレールを設ける、モデルに与える権限やツールを必要最小限にし、重要な操作には人の確認を挟む、などを組み合わせる。

LLMに悪意ある指示を与えて本来の制約を破らせる攻撃への対策。入力されたプロンプトを検証・フィルタリングする、システムプロンプトと、利用者の入力やWebページ・文書などの外部参照データとを分離して外部データ中の指示に従わせない、LLMに与える権限や接続するツールを最小限にする、重要な操作の前に人間の承認を挟む、といった対策を多層に組み合わせる。完全に防ぐ方法は確立していないため、被害を限定する設計が重要となる。

生成AIに、ロールプレイや仮定の状況設定、特殊な言い回しなどを含む入力を与えて、開発者が設けた安全上の制約（ガードレール）を回避させ、本来は拒否される有害な内容を出力させる攻撃。プロンプトインジェクションの一種として扱われることもある。

データにノイズを少しずつ加えていく過程を逆にたどり、ノイズから元のデータを復元するように学習する生成モデル。高品質な画像生成AIの主流方式で、テキストから画像を作るサービスの中核技術。

生成AIが作成したコンテンツに関する著作権上の論点。著作権法第30条の4により、AI学習目的の著作物利用は原則として許容される。AI生成物が既存著作物に類似する場合、依拠性と類似性が認められれば著作権侵害となり得る。AI自体は著作者にはなれない。

テキスト、画像、音声、動画など、種類の異なる複数のデータ（モダリティ）を組み合わせて入力・処理・出力できる AI。画像を見て内容を文章で説明する、音声で質問して画像付きで回答を得る、といった使い方ができる。

生成 AI が出力する文章の多様さと安定性を、パラメータで調整すること。Temperature を高くすると多様で意外性のある出力に、低くすると安定した出力になる。Top-p や Top-k で次の語の候補を絞ることでも調整できる。

AIを活用して情報セキュリティ対策を高度化する技術。大量のログや通信から攻撃の兆候を見つける異常検知、未知のマルウェアの判定、フィッシングメールの検出、インシデント対応での分析の支援などに使われる。AIそのものを攻撃から守るSecurity for AIと対比される。