ハルシネーション

生成AIが事実に基づかない情報を、あたかも正確であるかのように生成してしまう現象。AIの幻覚とも呼ばれる。AIの出力の信頼性に関する重要な課題であり、ファクトチェックの必要性を示す。

生成AIが事実に基づかない情報を、あたかも正確であるかのように生成してしまう現象。AIの幻覚とも呼ばれる。AIの出力データを人間が確認することの重要性を示す課題であり、業務利用時のリスクとして認識する必要がある。

生成AIが事実に基づかない誤った情報を、あたかも正確であるかのように生成してしまう現象。AIの出力データを人間が確認することの重要性を示す課題の一つ。

AIの出力データにおける幻覚。生成AIが事実に基づかない情報を、あたかも正確であるかのように生成する現象。AIの出力データを人間が確認することの重要性が指摘されている。

生成AIが事実に基づかない内容を、もっともらしい形で出力する現象。出典元の確認を行わずに業務判断へ用いると誤りが波及する。

RAG（検索拡張生成）でLLMに参照させる文書やベクトルデータベースに対し、利用者の権限に応じたアクセス制御を行うこと。検索の段階で権限のない文書を除外しないと、本来は閲覧できない機密情報が回答に含まれて漏えいする。参照データへの書込み権限を絞り、悪意ある指示や虚偽の情報を含む文書が混入するのを防ぐことも含む。

生成AIで手軽に大量生産された、質が低く中身の乏しいコンテンツ。閲覧数や広告収入を狙ってWebサイトやSNSに大量に投稿され、検索結果や情報空間の質を下げる、誤情報を広げるといった問題を起こす。slopは英語で家畜に与える残飯を意味する語で、AIの低品質な出力を指す俗語として広まった。

LLMが参照するWebページ、電子メール、文書などの外部データに悪意のある指示を埋め込んでおき、LLMがそれを処理したときに意図しない動作をさせる攻撃。利用者が気づかないうちに情報の外部送信やツールの不正な実行が起こり得るため、外部データを指示として扱わない設計が求められる。

LLMを使ったアプリケーションに、システムプロンプトなど開発者の指示を上書きする悪意のある入力を与え、想定外の応答や操作をさせる攻撃。利用者が直接入力する直接型と、LLMが読み込む外部データに指示を埋め込む間接型があり、機密情報の漏えいや、LLMに連携したツールの不正な実行につながる。

大規模言語モデル（LLM）を使ったアプリケーションを開発・運用するための考え方と仕組み。MLOpsを基に、プロンプトの版管理、RAGの参照データの管理、出力の品質と安全性の評価、利用コストや応答時間の監視など、LLM特有の管理を加える。

大規模言語モデル等を用いて、テキスト・画像・音声・プログラムコードなどの新たなコンテンツを自動生成するAI技術。業務効率化に活用される一方、ハルシネーション（事実に基づかない出力）やセキュリティリスク、著作権上の課題がある。