ガードレール

AIの入力と出力に制限を設け、危険な内容や規程違反を防ぐ仕組み。安全性への配慮、倫理的配慮、法令遵守の観点から、許容範囲をあらかじめ定めておく。

AIの入力と出力に制約や検査を設け、有害な内容の生成、機密情報や個人情報の漏えい、法令や社内規程への違反、想定外の操作を防ぐ仕組み。入力時のガードレールは不適切な依頼やプロンプトインジェクションを検知し、出力時のガードレールは生成結果を検査して遮断・修正する。安全性、倫理、法令遵守の観点から許容範囲を定める。

AIシステムが安全性、倫理、法令順守の面で不適切な出力や行動をしないよう、あらかじめ設ける制約や仕組み。有害な内容や機密情報を含む入出力の検出・遮断、扱う話題や操作の範囲の制限、AIエージェントの権限の制限などを、モデルの外側の検査機能や運用ルールとして組み込む。

生成AIに対して悪意のある指示（プロンプト）を挿入し、本来の制約を回避させて不正な出力を引き出す攻撃手法。AIシステムのセキュリティ上の新たな脅威として認識されている。

総務省が示した、AIの利用者が留意すべき事項をまとめた指針。適正利用、適正学習、連携、安全、セキュリティ、プライバシー、尊厳・自律、公平性、透明性、アカウンタビリティの各原則から成る。

人工知能学会が会員の研究者・技術者に向けて定めた倫理指針。人類への貢献、安全性、公正性、社会との対話などを掲げ、AI自身にも同等の倫理遵守を求める条項を含む点が特徴である。

AIの判断が特定の属性の人に不利になるなど、体系的な偏りを持つこと。学習データに含まれる社会的な偏りや、設計上の前提が原因で生じ、採用や与信の審査で差別的な結果を招くおそれがある。

暴走するトロッコを前に、一人を犠牲にして五人を救うべきかを問う思考実験。自動運転車が事故を避けられない場面で誰を優先するかという、AIに倫理的判断を委ねる際の難しさを示す例として引用される。

人間には気付けないわずかな加工を加え、AIに誤認識させるよう作られた入力データ。標識の画像に小さなノイズを乗せて別の標識と判定させるなど、AIを利用したシステムへの攻撃手段となる。