ToT（Tree of Thought）

推論の途中の考え（思考）を木構造で扱い、各段階で複数の候補を生成して見込みを評価し、有望なものを探索して行き詰まれば別の枝に戻る手法。1本の道筋で考えるCoTに比べ、試行錯誤や先読みが必要なパズルや計画の問題で正答率が上がるが、多くの候補を生成・評価するので計算の費用がかさむ。

大規模言語モデルに、答えだけでなく、答えに至る途中の推論の過程を段階的に書き出させる手法。思考の連鎖とも呼ばれ、プロンプトで推論の例を示したり「段階的に考えて」と指示したりする。計算や論理的な推論を要する問題の正答率が向上し、推論の過程を確認しやすくなる。

AIの推論処理を、クラウドではなくカメラ、スマートフォン、産業機器などの端末側やその近くで実行する方式。応答が速く、通信が途切れても動作でき、映像などの生データを外部に送らずに済む。端末の計算資源が限られるため、モデルの軽量化やNPUなどの専用チップが用いられる。

大規模言語モデルのパラメータを更新せずに、プロンプトの中に課題の説明やいくつかの入出力の例を示すだけで、モデルがその場で課題のやり方を把握して回答する能力。例を示さないゼロショット、少数の例を示すフューショット（few-shot）などがあり、プロンプトエンジニアリングの基礎となる。

大規模言語モデルやAIエージェントがタスクを適切に遂行できるよう、指示、参照する文書、会話や作業の履歴、利用できるツールの情報など、モデルに与える情報（コンテキスト）全体を設計・管理する技術。限られたコンテキストウィンドウに必要な情報を過不足なく、適切な順序で収めることを重視する。

生成AIのアプリケーションで、利用者の入力とは別に、AIの役割、口調、回答の範囲、禁止事項などをあらかじめ指示するプロンプト。開発者や提供者が設定し、会話全体を通じてAIの振る舞いを方向づける。利用者には見えないことが多く、プロンプトインジェクションによる無効化や内容の漏えいを狙われることがある。

データの先頭から順に1つずつ目的の値と比較して探索するアルゴリズム。実装が簡単だが、データ量に比例して探索時間が増加するため、大量のデータには不向きである。