データポイズニング

AIモデルの学習に使用される訓練データに悪意のあるデータを混入させることで、モデルの判定精度を低下させたり、特定の誤動作を引き起こす攻撃手法。敵対的サンプルが推論時の攻撃であるのに対し、データポイズニングは学習時の攻撃である点が異なる。

AIモデルの学習に使用される訓練データに悪意のあるデータを混入させることで、モデルの判定精度を低下させたり、特定の誤動作を引き起こす攻撃手法。敵対的サンプルが推論時の攻撃であるのに対し、データポイズニングは学習時の攻撃である点が異なる。

機械学習モデルに入力を与えて得られる出力（予測結果や確信度）を繰り返し分析し、学習に使われたデータの特徴、例えば顔認識モデルの学習に使われた人物の顔画像などを推定・復元する攻撃。学習データに含まれる個人情報のプライバシーを侵害するおそれがある。

機械学習や生成AIを、サイバー攻撃の検知や対応に活用する技術。通信やログの異常検知、未知のマルウェアの判定、フィッシングメールの識別、SOCでのアラートの優先順位付けやインシデント分析の支援などに使われる。AIシステム自体を攻撃から守る「Security for AI」と対になる考え方。

生成AIなどのAIサービスで、利用者が入力したデータをモデルの学習や改善に利用することについて、利用者が拒否（オプトアウト）できる条件や手段を定めた方針。既定で学習に使うか、設定や申請で除外できるか、法人向けの契約では使わないかなどはサービスによって異なるため、業務で使う前に確認し、機密情報や個人情報を入力しない運用と組み合わせる。

LLMを使ったアプリケーションに、システムプロンプトなど開発者の指示を上書きする悪意のある入力を与え、想定外の応答や操作をさせる攻撃。利用者が直接入力する直接型と、LLMが読み込む外部データに指示を埋め込む間接型があり、機密情報の漏えいや、LLMに連携したツールの不正な実行につながる。

人間には見分けがつかない程度の微小なノイズを入力データに加え、機械学習モデルに誤った分類や判断をさせるように細工したデータ。画像認識で道路標識を別の標識と誤認させる例が知られ、こうした入力でモデルを欺く攻撃は回避攻撃とも呼ばれる。

機械学習モデルの開発から本番での運用、監視、再学習までを、継続的かつ自動的に回すための考え方と仕組み。DevOpsを機械学習に適用し、データとモデルの版管理、学習パイプラインの自動化、本番データの変化による精度の劣化（ドリフト）の検知などを行う。