自律性と人間の関与

AIにどこまで自動で判断させ、どこから人間が確認するかの線引き。最終承認や例外処理を人間が担うことで、影響の大きい判断の責任を保つ。

AIエージェントにどこまで自律的に判断・実行させ、どこで人間が確認や介入をするかの線引き。影響の大きい操作の最終承認や、想定外の状況での例外処理を人間が担うように、業務プロセスの中に人間の判断を挟む箇所を設ける。自律性を高めるほど効率は上がるが、誤動作の影響と責任の所在に注意が要る。

AIエージェントにどこまで自律的に判断・実行させ、どの場面で人間が確認・承認・介入するかの度合いの設計。自律性を高めると効率は上がるが、誤った操作や想定外の行動の影響も大きくなるため、重要な操作の前に人間の承認を求めるヒューマンインザループ、操作履歴の監視、停止の手段などを用意し、リスクに応じて関与の度合いを決める。

利用者の指示や質問を自然言語で受け付け、情報の検索、文書の作成や要約、予定の管理などの作業を支援するAI。音声アシスタントや、業務アプリケーションに組み込まれた対話型の支援機能などがある。判断や実行の最終的な主体は利用者に残る点で、自律的に作業を進めるAIエージェントと区別されることが多い。

役割の異なる複数のAIエージェントが、情報を受け渡しながら協調して1つの目的を達成する構成。全体を指揮するエージェントが作業を分け、調査、実装、検証などを担うサブエージェントに任せる形が多い。各エージェントの文脈を小さく保てて並列にも処理できるが、エージェント間の調整や情報の受渡しの失敗、費用の増加に注意が要り、異なる製品のエージェント間の連携にはA2Aなどのプロトコルを使う。

AIエージェントが、会話やセッションをまたいで保持する情報。利用者の好み、過去のやり取りの要点、作業から得た知識などを外部の記憶装置（ベクトルデータベースやファイル）に保存し、必要なときに検索してコンテキストに加える。会話の履歴などコンテキストウィンドウ内に置く短期記憶と対比され、古い情報や誤った情報の更新・削除、個人情報の扱いの管理が要る。

AIに1回の指示で完成品を出させるのではなく、計画、ツールの利用、結果の振り返り（自己評価と修正）、複数のエージェントの協調を繰り返しながら作業を進めさせる処理の流れ。人間が試行錯誤するように段階を踏ませることで、1回の生成より品質の高い結果が得られる。処理の手順をあらかじめ決めておくワークフローと、AIが自律的に手順を決めるエージェントの両方の要素を組み合わせて構成する。

AIエージェントに特定の作業の手順や知識を与える「スキル」（説明と指示を書いたSKILL.mdと、参照資料、テンプレート、スクリプトをまとめたもの）を設計するときの典型的な型。必要になったときだけスキルの中身を読み込ませる前提で、規約を教えるTool Wrapper、テンプレートで出力をそろえるGenerator、チェックリストで評価するReviewer、作業の前に利用者へ質問するInversion、検証の関門を挟んで手順を順に進めるPipelineの5つが示されており、組み合わせて使う。

AIシステムの運用中に、人間がその動作や出力を監視し、問題があれば介入・修正・停止できるようにしておくこと。AIの誤りや想定外の振る舞いによる被害を防ぐためのもので、EUのAI法ではハイリスクAIシステムの要件の一つとされている。監視する人がAIの能力と限界を理解し、AIの出力に過度に頼らないことも求められる。