AIシステムを守るための対策（Security for AI）

AIシステムそのものを攻撃から守るための対策。プロンプトインジェクションやジェイルブレイクに備えた入力と出力の検証、データポイズニングを防ぐ学習データの管理、RAG用のデータへのアクセス制御、モデルの盗用への対策などがある。AIを使ってセキュリティを高めるAI for Securityと対比される。

AIシステムそのものを攻撃や悪用から守るための対策。LLMへのプロンプトインジェクション、学習データに不正なデータを混入させるデータポイズニング、モデルの窃取、RAGを通じた機密情報の漏えいなどの脅威に対し、入出力の検証、外部参照データの分離、参照データへのアクセス制御、学習データの品質と来歴の管理などを行う。AIをセキュリティ対策に活用する「AI for Security」と対になる考え方。

AI技術（深層学習）を用いて、人物の顔や声を精巧に偽造・合成する技術、またはその成果物。なりすまし動画や音声の作成に悪用され、ビジネスメール詐欺や世論操作などに利用されるリスクがある。

生成AIに対して悪意のある指示（プロンプト）を挿入し、本来の制約を回避させて不正な出力を引き出す攻撃手法。AIシステムのセキュリティ上の新たな脅威として認識されている。

テキストや音声で人間と自動的に会話するプログラム。カスタマーサポートや問い合わせ対応などで活用され、AIや自然言語処理技術を用いてユーザの質問に自動応答する。

大規模言語モデル等を用いて、テキスト・画像・音声・プログラムコードなどの新たなコンテンツを自動生成するAI技術。業務効率化に活用される一方、ハルシネーション（事実に基づかない出力）やセキュリティリスク、著作権上の課題がある。

データからパターンや規則性を自動的に学習し、予測や分類を行う技術の総称。教師あり学習、教師なし学習、強化学習に大別される。AIを支える中核技術であり、セキュリティ分野ではマルウェア検知や異常検知にも活用される。

大量のテキストデータで学習された巨大なニューラルネットワークモデル。自然言語の理解・生成に優れ、生成AIの中核技術として文章作成・要約・翻訳・プログラミング支援などに活用される。プロンプトインジェクションなどのセキュリティリスクへの対策も重要となる。