コンテキストエンジニアリング

大規模言語モデルやAIエージェントがタスクを適切に遂行できるよう、指示、参照する文書、会話や作業の履歴、利用できるツールの情報など、モデルに与える情報（コンテキスト）全体を設計・管理する技術。限られたコンテキストウィンドウに必要な情報を過不足なく、適切な順序で収めることを重視する。

大規模言語モデルに長い文脈を与えたとき、冒頭と末尾にある情報はよく使われるのに、中ほどにある情報が回答に反映されにくくなる現象。2023年の研究で報告された。RAGで多数の文書を渡す場合などは、重要な情報を先頭か末尾に置く、渡す文書を絞り込むなどの工夫が要る。

文書、メール、画像、音声、動画のように、項目や形式が定まっておらず、そのままでは表形式で検索・集計できないデータ。企業が持つデータの大半を占めるとされ、自然言語処理や画像認識などで特徴を取り出すことで分析に使えるようになる。生成AIの普及で、検索拡張生成（RAG）の情報源としての活用も進んでいる。

生成AIのアプリケーションで、利用者の入力とは別に、開発者や管理者があらかじめ与えておく指示。AIの役割、口調、回答の範囲、禁止事項、参照する情報などを定め、すべての対話に共通して適用される。利用者の入力で上書きされないよう、プロンプトインジェクションへの対策も必要になる。

大規模言語モデルへの入力（コンテキスト）が長くなるほど、コンテキストウィンドウの上限内であっても、回答の正確さや指示への従い方が低下していく現象。2025年にChroma社の調査でContext Rotとして報告され、単純な課題でも入力の長さに応じて性能が落ちることが示された。必要な情報に絞って入力することが対策となる。

大規模言語モデルが文章を処理するときの最小単位。文章はトークナイザによって、単語やその一部（サブワード）、文字、バイト列に分割され、それぞれが番号に置き換えられて入力される。日本語では1文字が1トークン以上になることも多く、モデルが一度に扱える長さ（コンテキストウィンドウ）やAPIの利用料金はトークン数で決まる。

大規模言語モデルに、最終的な答えだけでなく、そこに至る途中の推論の手順を順に書き出させる手法で、思考の連鎖ともいう。プロンプトで推論過程の例を示したり、「段階的に考えて」と指示したりすることで、計算や論理的な推論を要する問題の正答率が上がる。推論の過程を内部で長く行うよう学習した推論モデルも登場している。