非構造化データ

文書、画像、音声、動画のように、あらかじめ定まった構造を持たないデータ。そのままでは集計できず、分析にはメタデータの付与や特徴抽出が必要になる。

文章、画像、音声、動画のように、あらかじめ決まった形式を持たないデータ。企業に蓄積されるデータの大半を占め、AIやテキストマイニングを使って分析することで価値を引き出す。

文書、画像、音声、動画のように、あらかじめ定まった構造を持たないデータ。そのままでは集計できず、分析にはメタデータの付与や特徴抽出が必要になる。

表形式の固定的なスキーマに収まらないデータ。文書、画像、音声、動画、ログなどが該当する。全文検索やオブジェクトストレージ、NoSQLで扱い、メタデータを付与して管理・検索できるようにする。

文書、画像、音声、動画のように、あらかじめ定まった構造を持たないデータ。そのままでは集計できず、分析にはメタデータの付与や特徴抽出が必要になる。

文書、画像、音声、動画、SNSの投稿など、決まった形式（スキーマ）をもたないデータ。企業が扱うデータの大部分を占めるとされ、そのままでは検索や集計が難しいため、自然言語処理や画像認識などで特徴を取り出して分析する。

大規模言語モデルに長い文脈を与えたとき、冒頭と末尾にある情報はよく使われるのに、中ほどにある情報が回答に反映されにくくなる現象。2023年の研究で報告された。RAGで多数の文書を渡す場合などは、重要な情報を先頭か末尾に置く、渡す文書を絞り込むなどの工夫が要る。

大規模言語モデルやAIエージェントがよい結果を出せるよう、コンテキストウィンドウに入れる情報全体を設計・管理すること。システムプロンプト、ツールの定義、検索で取り出した文書、記憶、会話の履歴などから、その時点で必要な情報を選び、要約や圧縮をして、適切な順序で渡す。指示文の書き方を工夫するプロンプトエンジニアリングより広い考え方で、長い入力による性能の劣化（コンテキスト腐敗）への対策にもなる。

ラスター形式の画像を構成する最小の点。画像は縦横に並んだ画素の集まりで表され、各画素が色や明るさの値を持つ。画素の数が多いほど細かく表現できるが、データ量は画素数×1画素当たりのビット数で増える。

RAG（検索拡張生成）でLLMに参照させる文書やベクトルデータベースに対し、利用者の権限に応じたアクセス制御を行うこと。検索の段階で権限のない文書を除外しないと、本来は閲覧できない機密情報が回答に含まれて漏えいする。参照データへの書込み権限を絞り、悪意ある指示や虚偽の情報を含む文書が混入するのを防ぐことも含む。

生成AIが、事実に基づかない内容や存在しない情報を、もっともらしい文章として出力する現象。大規模言語モデルは学習データからもっともらしい単語の並びを生成するため、架空の文献や誤った数値をそれらしく示すことがある。RAGで根拠となる文書を参照させる、出典を確認する、人間が内容を検証するといった対策をとる。

ファイルサーバ、文書管理システム、メール、業務システムなど、組織内に分散した情報を横断して検索できるようにするシステム。利用者の権限に応じて検索結果を制御する機能を持ち、近年は生成AIと組み合わせて社内文書に基づく回答を生成する用途にも使われる。