エンベディング（埋込み表現）
Embedding
えんべでぃんぐ
単語、文章、画像などのデータを、その意味や特徴を反映した数百から数千次元の数値のベクトルに変換したもの、またはその変換。意味が近いデータほどベクトル間の距離が近くなるため、類似文書の検索、推薦、分類などに使われ、ベクトルデータベースと組み合わせてRAGの検索にも用いられる。
Related
関連キーワードの用語
文章や画像などをエンベディング（埋込み表現）で変換した高次元のベクトルを格納し、ベクトル間の距離や類似度に基づいて、意味的に近いデータを高速に検索できるデータベース。近似最近傍探索の索引を用い、RAG（検索拡張生成）で生成AIに渡す関連文書を探す用途などで使われる。
RAG（検索拡張生成）でLLMに参照させる文書やベクトルデータベースに対し、利用者の権限に応じたアクセス制御を行うこと。検索の段階で権限のない文書を除外しないと、本来は閲覧できない機密情報が回答に含まれて漏えいする。参照データへの書込み権限を絞り、悪意ある指示や虚偽の情報を含む文書が混入するのを防ぐことも含む。
生成AIが、事実に基づかない内容や存在しない情報を、もっともらしい文章として出力する現象。大規模言語モデルは学習データからもっともらしい単語の並びを生成するため、架空の文献や誤った数値をそれらしく示すことがある。RAGで根拠となる文書を参照させる、出典を確認する、人間が内容を検証するといった対策をとる。
ファイルサーバ、文書管理システム、メール、業務システムなど、組織内に分散した情報を横断して検索できるようにするシステム。利用者の権限に応じて検索結果を制御する機能を持ち、近年は生成AIと組み合わせて社内文書に基づく回答を生成する用途にも使われる。
利用者の質問に関連する情報を、社内文書やデータベースなどの外部の知識源から検索し、その結果をプロンプトに加えて生成AIに回答を生成させる手法。モデルを再学習せずに最新の情報や組織固有の知識を反映でき、根拠を示した回答を作りやすく、ハルシネーションの抑制にも役立つ。
AIエージェントが、1回の対話やタスクを超えて情報を保持し、後のタスクで参照できるようにする仕組み。モデルのコンテキストウィンドウに収まる短期の記憶とは別に、利用者の好みや過去の作業の結果などを外部のデータベースなどに保存し、必要なときに検索して取り出す。