IT用語帳
PD-DAI技術 · 生成AI技術

LLM(大規模言語モデル)

Large Language Model

えるえるえむ

膨大なテキストで事前学習した、数十億から数千億以上のパラメータを持つ言語モデル。主にTransformerのデコーダを使い、前の文脈から次のトークンを予測する学習によって、文章生成、要約、翻訳、質問応答、プログラム作成など多様な課題を、追加学習なしに指示(プロンプト)だけでこなせる。インストラクションチューニングやRLHFで指示に従うよう調整して使い、もっともらしい誤り(ハルシネーション)への対策が要る。

共有:

Related

他の資格での定義

IP大規模言語モデル

大量のテキストデータで事前学習された大規模なニューラルネットワークモデル。文章生成・要約・翻訳・質問応答など多様な自然言語処理タスクを高精度で行える。ChatGPTなどが代表例である。

SG大規模言語モデル

大量のテキストデータで学習された巨大なニューラルネットワークモデル。自然言語の理解・生成に優れ、生成AIの中核技術として文章作成・要約・翻訳・プログラミング支援などに活用される。プロンプトインジェクションなどのセキュリティリスクへの対策も重要となる。

FE大規模言語モデル

大量のテキストデータで学習された巨大なニューラルネットワークモデル。自然言語の理解と生成に優れ、文章作成、翻訳、質問応答など幅広いタスクに対応できる。LLMと略される。

PD-S大規模言語モデル

大量のテキストデータで学習された巨大なニューラルネットワークモデル。自然言語の理解・生成に優れ、生成AIの中核技術として文章作成・要約・翻訳・プログラミング支援などに活用される。プロンプトインジェクションなどのセキュリティリスクへの対策も重要となる。

A-1LLM(大規模言語モデル)

大量のテキストで事前学習した、膨大な数のパラメータを持つ言語モデル。主にTransformerを基盤とし、与えられた文脈に続くトークンを予測することで、文章の生成、要約、翻訳、質問応答、プログラムの作成など多様な処理を行える。事実と異なる内容を生成するハルシネーションに注意が必要である。

Past Exams

過去問での出題

過去問で 1 回出題(基本情報技術者試験 1)

出典: 独立行政法人情報処理推進機構(IPA)の過去問題。問題文は IPA のサイトの PDF で確認できます。用語名で照合しているため、関係の薄い問題が含まれることがあります。

Related

関連キーワードの用語

FE古い出力情報

生成AIが、学習データを集めた時点より後の出来事を知らないために、古くなった情報を現在も正しいものとして出力するリスク。法令の改正や製品の仕様変更などを反映していない回答が生じるため、最新の情報源で確かめてから使う必要がある。

A-1スロップスクワッティング

生成AIがコードを生成する際に実在しないパッケージ名を提案してしまう現象(パッケージハルシネーション)を悪用する攻撃。攻撃者は、AIが提案しがちな架空のパッケージ名でマルウェアを仕込んだパッケージを公開リポジトリに登録し、AIの提案をそのまま使った開発者にインストールさせる。タイポスクワッティングになぞらえた造語で、依存パッケージの実在と信頼性を確認することが対策となる。

PD-D識別AI

入力されたデータを分析して、分類、予測、検知、認識などの判断を行うAI。売上予測や離反予測、顧客のグルーピング、画像による不良品の検知などに使われ、仮説検証、知識発見、原因究明、計画策定、判断支援、活動代替などの目的で業務に組み込む。新しいコンテンツを作り出す生成AIと対比される。

PD-D生成AI

学習したデータの特徴をもとに、文章、画像、音声、動画、プログラムなどのコンテンツを新たに作り出すAI。大規模言語モデルを使った対話、要約、文書作成などに広く使われる。もっともらしい誤り(ハルシネーション)を出力することがあるため、RAGによる根拠の付与や人間による確認と組み合わせて使う。

PD-DRAG(検索拡張生成)

利用者の質問に関連する社内文書やデータベースの情報を検索し、その内容をプロンプトに加えて生成AIに回答させる仕組み。学習データに含まれない最新の情報や組織固有の知識を回答に反映でき、根拠を示すことでハルシネーションの抑制にも役立つ。検索の精度と、参照させる文書の品質やアクセス権の管理が回答の質を左右する。

PD-DマルチモーダルAI

テキスト、画像、音声、動画など複数の種類(モダリティ)の情報を組み合わせて入力・出力できるAI。図表を含む文書の読み取り、画像を見せて質問に答える、会議の音声と資料から議事録を作るなど、単一の形式のAIでは扱えない業務に適用できる。