スロップスクワッティング

生成AIがコードを生成する際に実在しないパッケージ名を提案してしまう現象（パッケージハルシネーション）を悪用する攻撃。攻撃者は、AIが提案しがちな架空のパッケージ名でマルウェアを仕込んだパッケージを公開リポジトリに登録し、AIの提案をそのまま使った開発者にインストールさせる。タイポスクワッティングになぞらえた造語で、依存パッケージの実在と信頼性を確認することが対策となる。

製品やサービスの調達、製造、配送に関わる取引先や委託先のつながり（サプライチェーン）を通じて生じるリスク。取引先の被災による部品の供給停止や、セキュリティ対策の弱い委託先や組み込まれたソフトウェアを経由した攻撃・情報漏えいなどがある。

生成AIが、学習データを集めた時点より後の出来事を知らないために、古くなった情報を現在も正しいものとして出力するリスク。法令の改正や製品の仕様変更などを反映していない回答が生じるため、最新の情報源で確かめてから使う必要がある。

学習したデータの特徴をもとに、文章、画像、音声、動画、プログラムなどのコンテンツを新たに作り出すAI。大規模言語モデルを使った対話、要約、文書作成などに広く使われる。もっともらしい誤り（ハルシネーション）を出力することがあるため、RAGによる根拠の付与や人間による確認と組み合わせて使う。

利用者の質問に関連する社内文書やデータベースの情報を検索し、その内容をプロンプトに加えて生成AIに回答させる仕組み。学習データに含まれない最新の情報や組織固有の知識を回答に反映でき、根拠を示すことでハルシネーションの抑制にも役立つ。検索の精度と、参照させる文書の品質やアクセス権の管理が回答の質を左右する。

膨大なテキストで事前学習した、数十億から数千億以上のパラメータを持つ言語モデル。主にTransformerのデコーダを使い、前の文脈から次のトークンを予測する学習によって、文章生成、要約、翻訳、質問応答、プログラム作成など多様な課題を、追加学習なしに指示（プロンプト）だけでこなせる。インストラクションチューニングやRLHFで指示に従うよう調整して使い、もっともらしい誤り（ハルシネーション）への対策が要る。

コード生成AIが、実在しないライブラリやパッケージの名前をもっともらしく提案してしまう現象。提案どおりにインストールすると、攻撃者がその名前で先回りして登録した悪意あるパッケージを取り込むおそれがある（スロップスクワッティング）。パッケージの実在と信頼性を確かめてから導入することが対策になる。