人間による監視
Human Oversight
にんげんによるかんし
AIシステムの運用中に、人間がその動作や出力を監視し、問題があれば介入・修正・停止できるようにしておくこと。AIの誤りや想定外の振る舞いによる被害を防ぐためのもので、EUのAI法ではハイリスクAIシステムの要件の一つとされている。監視する人がAIの能力と限界を理解し、AIの出力に過度に頼らないことも求められる。
Related
関連キーワードの用語
AIを組み込んだシステムの処理の流れの中に、人間による確認・判断・修正の工程を組み込む設計。AIの出力を人間が承認してから実行する、確信度の低い判定だけを人間に回す、人間が修正した結果を学習に戻すといった形がある。誤判定による重大な影響を防ぎ、責任の所在を明確にするために用いられる。
AIシステムを企画・開発・導入する際に、公平性、透明性、プライバシー、安全性、人権などへの影響を事前に評価し、リスクを低減する対策を決める取組み。チェックリストや影響評価の様式を使って関係者が評価し、運用を始めた後も定期的に見直す。UNESCOは、人工知能の倫理に関する勧告を実践する手段として、倫理的影響評価(EIA)の手法を示している。
組織の従業員が生成AIなどのAIを業務で使うときのルールを定めた方針。利用してよいサービス、入力してはならない情報(機密情報や個人情報)、出力内容の確認と責任、著作権への配慮、利用目的の範囲などを定める。AIガバナンスの一部として整備し、許可されていないAIの利用(シャドーAI)を防ぐ役割もある。
機械学習モデルの用途、学習データ、評価の方法と結果、性能の限界、想定していない使い方、倫理面の配慮事項などを記載した文書。モデルを使う人が適切な使い方とリスクを判断できるようにするもので、2019年にGoogleの研究者らが提唱した。AIの透明性と説明責任を確保する手段として、モデルを公開・提供するときに添付される。
AIの出力をそのまま結論とせず判断の材料として用い、最終的な決定は人間が行うこと。採用、融資、医療診断のように人の権利や生命に大きく影響する判断では、決定の責任を人間が負い、AIの誤りや偏りを人間が確認できるようにする。AIの判断を無批判に受け入れる自動化バイアスに陥らないことが前提で、GDPRも、本人に重大な影響を及ぼす決定を自動処理だけで行うことを原則として制限している。
AIを、公平性、透明性、説明責任、プライバシーの保護、安全性、人間中心といった原則に沿って開発・提供・利用する考え方と、その取組み。原則を掲げるだけでなく、組織の方針、開発時の評価、運用中の監視などの仕組みとして実装することを重視する。多くのIT企業や各国政府が、それぞれの原則を公表している。
