LLM(大規模言語モデル)
Large Language Model
えるえるえむ
大量のテキストで事前学習した、膨大な数のパラメータを持つ言語モデル。主にTransformerを基盤とし、与えられた文脈に続くトークンを予測することで、文章の生成、要約、翻訳、質問応答、プログラムの作成など多様な処理を行える。事実と異なる内容を生成するハルシネーションに注意が必要である。
Related
他の資格での定義
大量のテキストデータで事前学習された大規模なニューラルネットワークモデル。文章生成・要約・翻訳・質問応答など多様な自然言語処理タスクを高精度で行える。ChatGPTなどが代表例である。
大量のテキストデータで学習された巨大なニューラルネットワークモデル。自然言語の理解・生成に優れ、生成AIの中核技術として文章作成・要約・翻訳・プログラミング支援などに活用される。プロンプトインジェクションなどのセキュリティリスクへの対策も重要となる。
大量のテキストデータで学習された巨大なニューラルネットワークモデル。自然言語の理解と生成に優れ、文章作成、翻訳、質問応答など幅広いタスクに対応できる。LLMと略される。
膨大なテキストで事前学習した、数十億から数千億以上のパラメータを持つ言語モデル。主にTransformerのデコーダを使い、前の文脈から次のトークンを予測する学習によって、文章生成、要約、翻訳、質問応答、プログラム作成など多様な課題を、追加学習なしに指示(プロンプト)だけでこなせる。インストラクションチューニングやRLHFで指示に従うよう調整して使い、もっともらしい誤り(ハルシネーション)への対策が要る。
大量のテキストデータで学習された巨大なニューラルネットワークモデル。自然言語の理解・生成に優れ、生成AIの中核技術として文章作成・要約・翻訳・プログラミング支援などに活用される。プロンプトインジェクションなどのセキュリティリスクへの対策も重要となる。
Past Exams
過去問での出題
過去問で 1 回出題(基本情報技術者試験 1)
出典: 独立行政法人情報処理推進機構(IPA)の過去問題。問題文は IPA のサイトの PDF で確認できます。用語名で照合しているため、関係の薄い問題が含まれることがあります。
Related
関連キーワードの用語
生成AIがコードを生成する際に実在しないパッケージ名を提案してしまう現象(パッケージハルシネーション)を悪用する攻撃。攻撃者は、AIが提案しがちな架空のパッケージ名でマルウェアを仕込んだパッケージを公開リポジトリに登録し、AIの提案をそのまま使った開発者にインストールさせる。タイポスクワッティングになぞらえた造語で、依存パッケージの実在と信頼性を確認することが対策となる。
生成AIが、学習データを集めた時点より後の出来事を知らないために、古くなった情報を現在も正しいものとして出力するリスク。法令の改正や製品の仕様変更などを反映していない回答が生じるため、最新の情報源で確かめてから使う必要がある。
生成AIなどのAIサービスで、利用者が入力したデータをモデルの学習や改善に利用することについて、利用者が拒否(オプトアウト)できる条件や手段を定めた方針。既定で学習に使うか、設定や申請で除外できるか、法人向けの契約では使わないかなどはサービスによって異なるため、業務で使う前に確認し、機密情報や個人情報を入力しない運用と組み合わせる。
組織の従業員が生成AIなどのAIを業務で使うときのルールを定めた方針。利用してよいサービス、入力してはならない情報(機密情報や個人情報)、出力内容の確認と責任、著作権への配慮、利用目的の範囲などを定める。AIガバナンスの一部として整備し、許可されていないAIの利用(シャドーAI)を防ぐ役割もある。
組織が把握・許可していない生成AIなどのAIサービスを、従業員が業務で使うこと。シャドーITのAI版で、外部の無料サービスに機密情報や個人情報を入力して漏えいさせる、出力の誤りや権利侵害に気付けないといったリスクがある。一律に禁止するより、許可するサービスと使い方をAI利用ポリシーで示し、安全な代替手段を用意することが有効とされる。
生成AIが、事実に基づかない内容や存在しない情報を、もっともらしい文章として出力する現象。大規模言語モデルは学習データからもっともらしい単語の並びを生成するため、架空の文献や誤った数値をそれらしく示すことがある。RAGで根拠となる文書を参照させる、出典を確認する、人間が内容を検証するといった対策をとる。
