AIを使ったセキュリティ技術（AI for Security）

機械学習などのAIをセキュリティ対策に活用する技術。大量のログから通常と異なる挙動を見つける異常検知、未知のマルウェアやフィッシングメールの判定、アラートの優先度付けなどに用い、分析の負担を減らす。

AIを活用して情報セキュリティ対策を高度化する技術。大量のログや通信から攻撃の兆候を見つける異常検知、未知のマルウェアの判定、フィッシングメールの検出、インシデント対応での分析の支援などに使われる。AIそのものを攻撃から守るSecurity for AIと対比される。

RAG（検索拡張生成）でLLMに参照させる文書やベクトルデータベースに対し、利用者の権限に応じたアクセス制御を行うこと。検索の段階で権限のない文書を除外しないと、本来は閲覧できない機密情報が回答に含まれて漏えいする。参照データへの書込み権限を絞り、悪意ある指示や虚偽の情報を含む文書が混入するのを防ぐことも含む。

LLMに悪意ある指示を与えて本来の制約を破らせる攻撃への対策。入力されたプロンプトを検証・フィルタリングする、システムプロンプトと、利用者の入力やWebページ・文書などの外部参照データとを分離して外部データ中の指示に従わせない、LLMに与える権限や接続するツールを最小限にする、重要な操作の前に人間の承認を挟む、といった対策を多層に組み合わせる。完全に防ぐ方法は確立していないため、被害を限定する設計が重要となる。

機械学習モデルの学習データに攻撃者が細工したデータを混入させ、モデルに誤った判断をさせたり、特定の入力のときだけ攻撃者の意図した出力をするバックドアを仕込んだりする攻撃。学習データの出所の管理や品質の検証で対策する。

人間には見分けがつかない程度の微小なノイズを入力データに加え、機械学習モデルに誤った分類や判断をさせるように細工したデータ。画像認識で道路標識を別の標識と誤認させる例が知られ、こうした入力でモデルを欺く攻撃は回避攻撃とも呼ばれる。

機械学習モデルに入力を与えて得られる出力（予測結果や確信度）を繰り返し分析し、学習に使われたデータの特徴、例えば顔認識モデルの学習に使われた人物の顔画像などを推定・復元する攻撃。学習データに含まれる個人情報のプライバシーを侵害するおそれがある。

組織内で発生したセキュリティインシデントに対応するためのチーム。インシデントの報告の受付、影響範囲の調査、封じ込めと復旧の指揮、関係者への連絡や外部の組織との連携を担い、平時には脆弱性情報の収集や教育・訓練も行う。