PD-DNewAI技術 · 生成AI技術

SLM（小規模言語モデル）

Small Language Model

えすえるえむ

大規模言語モデルに比べてパラメータ数を数億から数十億程度に抑えた言語モデル。蒸留や良質なデータの選別で性能を高めており、特定の業務や課題に絞ればLLMに近い精度を出せる。少ない計算資源で動き、応答が速く費用も低いので、スマートフォンや社内のサーバ（オンプレミス）で動かして、機密情報を外部に出さずに使う用途に向く。

#大規模言語モデル #蒸留 #エッジAI #ローカルLLM

共有:

Past Exams

過去問での出題

過去問で 7 回出題（ITパスポート試験 6・ITサービスマネージャ試験 1）。うち 2 回は用語そのものを問う問題です。

出典: 独立行政法人情報処理推進機構（IPA）の過去問題。問題文は IPA のサイトの PDF で確認できます。「用語を問う問題」は、この用語の説明や特徴そのものを問う問題です。「選択肢」は、問題文ではなく選択肢に出たものです。用語名で照合しているため、関係の薄い問題が含まれることがあります。

関連キーワードの用語

A-1プルーニング（枝刈り）

モデルの軽量化の手法の一つで、ニューラルネットワークの中で推論への寄与が小さい重みやノード、層などを取り除くこと。パラメータ数と計算量を減らして、推論の高速化やメモリ使用量の削減を図る。取り除いた後に再学習して精度の低下を抑えることが多い。

A-1量子化（Quantization）

モデルの軽量化の手法の一つで、ニューラルネットワークの重みや計算に使う数値を、32ビットの浮動小数点数から8ビットや4ビットの整数などの少ないビット数で表すこと。メモリ使用量と計算量を大きく減らせ、大規模言語モデルを端末で動かす際などに使われるが、精度がやや低下することがある。

PD-D生成AI

学習したデータの特徴をもとに、文章、画像、音声、動画、プログラムなどのコンテンツを新たに作り出すAI。大規模言語モデルを使った対話、要約、文書作成などに広く使われる。もっともらしい誤り（ハルシネーション）を出力することがあるため、RAGによる根拠の付与や人間による確認と組み合わせて使う。

PD-DTransformer

2017年の論文「Attention Is All You Need」で提案された、自己注意機構を中心とするニューラルネットワークの構造。RNNのように系列を順に処理せず、系列中のすべての位置の関係を同時に計算するので、並列に学習でき長距離の依存関係も捉えやすい（語順の情報は位置エンコーディングで与える）。GPTやBERTなどの大規模言語モデルの基盤であり、画像や音声のモデルにも使われている。

PD-Dトークン

大規模言語モデルが文章を処理するときの最小単位。文章はトークナイザによって、単語やその一部（サブワード）、文字、バイト列に分割され、それぞれが番号に置き換えられて入力される。日本語では1文字が1トークン以上になることも多く、モデルが一度に扱える長さ（コンテキストウィンドウ）やAPIの利用料金はトークン数で決まる。

PD-D自己教師あり学習

正解ラベルの付いていないデータから、データ自身の一部を隠して残りから当てさせるなどの方法で正解を自動的に作り、教師あり学習の形で学習する手法。文章の次の単語の予測（GPT）や穴埋め（BERT）、同じ画像を加工した組を近づける対比学習がある。人手のラベル付けなしに大量のデータで学習できるので、大規模言語モデルなどの事前学習に使われる。