RAG用のデータ及びデータストアへのアクセス制御
Access Control for RAG Data and Data Stores
らぐようのでーたおよびでーたすとあへのあくせすせいぎょ
RAG（検索拡張生成）でLLMに参照させる文書やベクトルデータベースに対し、利用者の権限に応じたアクセス制御を行うこと。検索の段階で権限のない文書を除外しないと、本来は閲覧できない機密情報が回答に含まれて漏えいする。参照データへの書込み権限を絞り、悪意ある指示や虚偽の情報を含む文書が混入するのを防ぐことも含む。
Related
関連キーワードの用語
LLMに悪意ある指示を与えて本来の制約を破らせる攻撃への対策。入力されたプロンプトを検証・フィルタリングする、システムプロンプトと、利用者の入力やWebページ・文書などの外部参照データとを分離して外部データ中の指示に従わせない、LLMに与える権限や接続するツールを最小限にする、重要な操作の前に人間の承認を挟む、といった対策を多層に組み合わせる。完全に防ぐ方法は確立していないため、被害を限定する設計が重要となる。
生成AIが、事実に基づかない内容や存在しない情報を、もっともらしい文章として出力する現象。大規模言語モデルは学習データからもっともらしい単語の並びを生成するため、架空の文献や誤った数値をそれらしく示すことがある。RAGで根拠となる文書を参照させる、出典を確認する、人間が内容を検証するといった対策をとる。
LLMが参照するWebページ、電子メール、文書などの外部データに悪意のある指示を埋め込んでおき、LLMがそれを処理したときに意図しない動作をさせる攻撃。利用者が気づかないうちに情報の外部送信やツールの不正な実行が起こり得るため、外部データを指示として扱わない設計が求められる。
大規模言語モデル（LLM）を使ったアプリケーションを開発・運用するための考え方と仕組み。MLOpsを基に、プロンプトの版管理、RAGの参照データの管理、出力の品質と安全性の評価、利用コストや応答時間の監視など、LLM特有の管理を加える。
機械学習や生成AIを、サイバー攻撃の検知や対応に活用する技術。通信やログの異常検知、未知のマルウェアの判定、フィッシングメールの識別、SOCでのアラートの優先順位付けやインシデント分析の支援などに使われる。AIシステム自体を攻撃から守る「Security for AI」と対になる考え方。
AIシステムそのものを攻撃や悪用から守るための対策。LLMへのプロンプトインジェクション、学習データに不正なデータを混入させるデータポイズニング、モデルの窃取、RAGを通じた機密情報の漏えいなどの脅威に対し、入出力の検証、外部参照データの分離、参照データへのアクセス制御、学習データの品質と来歴の管理などを行う。AIをセキュリティ対策に活用する「AI for Security」と対になる考え方。