Evaluator-Optimizer Workflow
Evaluator-Optimizer Workflow
えばりゅえーたーおぷてぃまいざーわーくふろー
1つの大規模言語モデルが回答を生成し、別のモデル(評価役)がそれを評価して改善点を返す処理を、基準を満たすまで繰り返すAIエージェントのワークフロー。人間が推敲を重ねるように品質を高められ、評価の基準が明確で、指摘によって改善が見込める翻訳や文書作成などに向く。
Related
関連キーワードの用語
作業を決まった順序の複数の段階に分け、各段階の大規模言語モデルの出力を次の段階の入力にして順に処理するAIエージェントのワークフロー。段階の間にプログラムによる検査(関門)を挟んで途中の結果を確かめられる。1回で全部を行わせるより各段階が易しくなって精度が上がるが、呼出しの回数だけ時間がかかる。
複数の大規模言語モデルの呼出しを同時に実行し、結果をプログラムで集約するAIエージェントのワークフロー。独立した部分作業に分けて並行させるセクショニングと、同じ作業を複数回実行して多数決などで結論を出す投票(ボーティング)がある。処理時間を短くでき、観点を分けて考えさせたり複数の結果で確信度を上げたりできる。
入力をまず分類し、種類ごとに用意した専用のプロンプト、処理、モデルに振り分けるAIエージェントのワークフロー。例えば問合せを返金、技術的な質問、一般的な質問に分けて別々に処理したり、簡単なものを小さなモデルに回したりする。種類ごとに処理を最適化でき、1つのプロンプトですべてに対応させるより精度が上がる。
指揮役(オーケストレータ)の大規模言語モデルが、作業を動的に部分作業に分けて複数の実行役(ワーカー)のモデルに割り当て、その結果を統合するAIエージェントのワークフロー。部分作業の内容と数を事前に決めず、入力に応じて指揮役が判断する点がParallelizationと異なり、変更すべきファイルが事前に分からないプログラムの修正などに向く。
