自律性と人間の関与

AIにどこまで自動で判断させ、どこから人間が確認するかの線引き。最終承認や例外処理を人間が担うことで、影響の大きい判断の責任を保つ。

AIエージェントにどこまで自律的に判断・実行させ、どの場面で人間が確認・承認・介入するかの度合いの設計。自律性を高めると効率は上がるが、誤った操作や想定外の行動の影響も大きくなるため、重要な操作の前に人間の承認を求めるヒューマンインザループ、操作履歴の監視、停止の手段などを用意し、リスクに応じて関与の度合いを決める。

AIシステムの運用中に、人間がその動作や出力を監視し、問題があれば介入・修正・停止できるようにしておくこと。AIの誤りや想定外の振る舞いによる被害を防ぐためのもので、EUのAI法ではハイリスクAIシステムの要件の一つとされている。監視する人がAIの能力と限界を理解し、AIの出力に過度に頼らないことも求められる。