SG2027情報セキュリティの脅威 · 攻撃手法

データポイズニング

Data Poisoning

でーたぽいずにんぐ

AIの学習データに不正なデータや誤ったラベルを混入させ、学習したモデルの判断を誤らせたり、特定の入力に対して攻撃者の意図した出力をさせたりする攻撃。RAGで参照するデータを汚染する手口も含む。

共有:

他の資格での定義

AIモデルの学習に使用される訓練データに悪意のあるデータを混入させることで、モデルの判定精度を低下させたり、特定の誤動作を引き起こす攻撃手法。敵対的サンプルが推論時の攻撃であるのに対し、データポイズニングは学習時の攻撃である点が異なる。

機械学習モデルの学習データに攻撃者が細工したデータを混入させ、モデルに誤った判断をさせたり、特定の入力のときだけ攻撃者の意図した出力をするバックドアを仕込んだりする攻撃。学習データの出所の管理や品質の検証で対策する。

機械学習で、学習データで学習させたモデルの性能を学習の途中で評価し、ハイパーパラメータの調整やモデルの選択に使うデータ。最終的な性能の評価に使うテストデータとは分けて用意する。

生成AIサービスなどで、利用者が入力したデータをサービス提供者がAIの学習に使うことを、利用者が拒否（オプトアウト）できるかどうかと、その手続を定めた方針。業務で使う際は、機密情報や個人情報が学習に使われないよう、オプトアウトの可否と設定を確かめる。

生成AIが、学習データを集めた時点より後の出来事を知らないために、古くなった情報を現在も正しいものとして出力するリスク。法令の改正や製品の仕様変更などを反映していない回答が生じるため、最新の情報源で確かめてから使う必要がある。

機械学習モデルに入力を与えて得られる出力（予測結果や確信度）を繰り返し分析し、学習に使われたデータの特徴、例えば顔認識モデルの学習に使われた人物の顔画像などを推定・復元する攻撃。学習データに含まれる個人情報のプライバシーを侵害するおそれがある。