Lost in the Middle現象

大規模言語モデルやAIエージェントがよい結果を出せるよう、コンテキストウィンドウに入れる情報全体を設計・管理すること。システムプロンプト、ツールの定義、検索で取り出した文書、記憶、会話の履歴などから、その時点で必要な情報を選び、要約や圧縮をして、適切な順序で渡す。指示文の書き方を工夫するプロンプトエンジニアリングより広い考え方で、長い入力による性能の劣化（コンテキスト腐敗）への対策にもなる。

文書、メール、画像、音声、動画のように、項目や形式が定まっておらず、そのままでは表形式で検索・集計できないデータ。企業が持つデータの大半を占めるとされ、自然言語処理や画像認識などで特徴を取り出すことで分析に使えるようになる。生成AIの普及で、検索拡張生成（RAG）の情報源としての活用も進んでいる。

大規模言語モデルへの入力（コンテキスト）が長くなるほど、コンテキストウィンドウの上限内であっても、回答の正確さや指示への従い方が低下していく現象。2025年にChroma社の調査でContext Rotとして報告され、単純な課題でも入力の長さに応じて性能が落ちることが示された。必要な情報に絞って入力することが対策となる。

大規模言語モデルが文章を処理するときの最小単位。文章はトークナイザによって、単語やその一部（サブワード）、文字、バイト列に分割され、それぞれが番号に置き換えられて入力される。日本語では1文字が1トークン以上になることも多く、モデルが一度に扱える長さ（コンテキストウィンドウ）やAPIの利用料金はトークン数で決まる。

RAG（検索拡張生成）でLLMに参照させる文書やベクトルデータベースに対し、利用者の権限に応じたアクセス制御を行うこと。検索の段階で権限のない文書を除外しないと、本来は閲覧できない機密情報が回答に含まれて漏えいする。参照データへの書込み権限を絞り、悪意ある指示や虚偽の情報を含む文書が混入するのを防ぐことも含む。

生成AIが、事実に基づかない内容や存在しない情報を、もっともらしい文章として出力する現象。大規模言語モデルは学習データからもっともらしい単語の並びを生成するため、架空の文献や誤った数値をそれらしく示すことがある。RAGで根拠となる文書を参照させる、出典を確認する、人間が内容を検証するといった対策をとる。