CoT（Chain of Thought）

大規模言語モデルに、答えだけでなく、答えに至る途中の推論の過程を段階的に書き出させる手法。思考の連鎖とも呼ばれ、プロンプトで推論の例を示したり「段階的に考えて」と指示したりする。計算や論理的な推論を要する問題の正答率が向上し、推論の過程を確認しやすくなる。

大規模言語モデルに、推論の途中で複数の考え方の候補を分岐させて木構造のように展開させ、各候補を評価しながら有望なものを選んで探索させる手法。行き詰まったら別の候補に戻って考え直せるため、一本道で推論するCoTより、計画や試行錯誤を要する問題に強い。

生成AIのアプリケーションで、利用者の入力とは別に、開発者や管理者があらかじめ与えておく指示。AIの役割、口調、回答の範囲、禁止事項、参照する情報などを定め、すべての対話に共通して適用される。利用者の入力で上書きされないよう、プロンプトインジェクションへの対策も必要になる。

大規模言語モデルやAIエージェントがよい結果を出せるよう、コンテキストウィンドウに入れる情報全体を設計・管理すること。システムプロンプト、ツールの定義、検索で取り出した文書、記憶、会話の履歴などから、その時点で必要な情報を選び、要約や圧縮をして、適切な順序で渡す。指示文の書き方を工夫するプロンプトエンジニアリングより広い考え方で、長い入力による性能の劣化（コンテキスト腐敗）への対策にもなる。

作業を決まった順序の複数の段階に分け、各段階の大規模言語モデルの出力を次の段階の入力にして順に処理するAIエージェントのワークフロー。段階の間にプログラムによる検査（関門）を挟んで途中の結果を確かめられる。1回で全部を行わせるより各段階が易しくなって精度が上がるが、呼出しの回数だけ時間がかかる。

個々の事例や観察の結果から、それらに共通する一般的な規則や法則を導く推論。「見たカラスはすべて黒い」から「カラスは黒い」を導くような推論で、新しい知識を得られるが、反例が見つかれば覆るので結論は必ずしも正しくない。データから規則を学ぶ機械学習は帰納推論の一種といえる。

AIの推論処理を、クラウドではなくカメラ、スマートフォン、産業機器などの端末側やその近くで実行する方式。応答が速く、通信が途切れても動作でき、映像などの生データを外部に送らずに済む。端末の計算資源が限られるため、モデルの軽量化やNPUなどの専用チップが用いられる。