PD-Dアルゴリズム・プログラミング · アルゴリズム

文章間類似度

Text Similarity

ぶんしょうかんるいじど

2つの文章の内容がどれだけ似ているかを数値で表したもの。文章を単語の出現頻度（Bag-of-Words）やTF-IDFで重み付けしたベクトル、あるいは意味を表す埋込み表現（エンベディング）に変換し、ベクトルのなす角の余弦（コサイン類似度）で測るのが一般的である。単語の集合の重なり（ジャカード係数）や、文字の編集距離を使う方法もあり、文書検索、重複の検出、RAGでの関連文書の検索に使われる。

#コサイン類似度 #TF-IDF #エンベディング #ジャカード係数

共有:

関連キーワードの用語

A-1ベクトルデータベース

文章や画像などをエンベディング（埋込み表現）で変換した高次元のベクトルを格納し、ベクトル間の距離や類似度に基づいて、意味的に近いデータを高速に検索できるデータベース。近似最近傍探索の索引を用い、RAG（検索拡張生成）で生成AIに渡す関連文書を探す用途などで使われる。

A-1RAG（検索拡張生成）

利用者の質問に関連する情報を、社内文書やデータベースなどの外部の知識源から検索し、その結果をプロンプトに加えて生成AIに回答を生成させる手法。モデルを再学習せずに最新の情報や組織固有の知識を反映でき、根拠を示した回答を作りやすく、ハルシネーションの抑制にも役立つ。