自律性と人間の関与

AIにどこまで自動で判断させ、どこから人間が確認するかの線引き。最終承認や例外処理を人間が担うことで、影響の大きい判断の責任を保つ。

AIエージェントにどこまで自律的に判断・実行させ、どこで人間が確認や介入をするかの線引き。影響の大きい操作の最終承認や、想定外の状況での例外処理を人間が担うように、業務プロセスの中に人間の判断を挟む箇所を設ける。自律性を高めるほど効率は上がるが、誤動作の影響と責任の所在に注意が要る。

AIを組み込んだシステムの処理の流れの中に、人間による確認・判断・修正の工程を組み込む設計。AIの出力を人間が承認してから実行する、確信度の低い判定だけを人間に回す、人間が修正した結果を学習に戻すといった形がある。誤判定による重大な影響を防ぎ、責任の所在を明確にするために用いられる。

AIシステムの運用中に、人間がその動作や出力を監視し、問題があれば介入・修正・停止できるようにしておくこと。AIの誤りや想定外の振る舞いによる被害を防ぐためのもので、EUのAI法ではハイリスクAIシステムの要件の一つとされている。監視する人がAIの能力と限界を理解し、AIの出力に過度に頼らないことも求められる。

AIや自動化されたシステムの出力を過度に信頼し、誤りや矛盾があっても見過ごしたり、自分の判断よりシステムの判断を優先したりする人間の傾向。システムが警告を出さなかったために異常を見落とす、誤った提案をそのまま採用するといった形で現れる。人間による監視や最終判断を形だけのものにしないため、判断の根拠の確認を手順に組み込むなどの対策が必要となる。

複数のAIエージェントが役割を分担し、互いに情報をやり取りしながら協調して1つの目標に取り組む仕組み。全体を統括するエージェントが作業を分解して専門のサブエージェントに割り振る構成などがあり、複雑な課題を並列に処理できる一方、エージェント間の調整やコストの管理が課題となる。

AIエージェントが、1回の対話やタスクを超えて情報を保持し、後のタスクで参照できるようにする仕組み。モデルのコンテキストウィンドウに収まる短期の記憶とは別に、利用者の好みや過去の作業の結果などを外部のデータベースなどに保存し、必要なときに検索して取り出す。

AIアプリケーションやAIエージェントを、外部のツール、データ、サービスに接続するための標準的なプロトコル。2024年にAnthropicが公開し、AIアプリケーション側のクライアントが、機能を提供するMCPサーバとJSON-RPCで通信する。接続方法を共通化することで、ツールごとの個別の連携開発を減らせる。