PD-DNewAI技術 · 生成AI技術

トークン

Token

とーくん

大規模言語モデルが文章を処理するときの最小単位。文章はトークナイザによって、単語やその一部（サブワード）、文字、バイト列に分割され、それぞれが番号に置き換えられて入力される。日本語では1文字が1トークン以上になることも多く、モデルが一度に扱える長さ（コンテキストウィンドウ）やAPIの利用料金はトークン数で決まる。

#トークナイザ #サブワード #コンテキストウィンドウ #大規模言語モデル

共有:

他の資格での定義

A-1トークン

大規模言語モデルが文章を処理するときの最小の単位。単語や、単語をさらに分けた部分（サブワード）、文字などで、テキストはトークナイザによってトークンの列に分割され、それぞれが数値に変換される。モデルが一度に扱える量や、生成AIの利用料金はトークン数で表されることが多い。

Past Exams

過去問での出題

過去問で 34 回出題（応用情報技術者試験 8・ネットワークスペシャリスト試験 7・情報処理安全確保支援士試験 5・ITパスポート試験 4・高度試験午前Ⅰ 4・情報セキュリティマネジメント試験 3・システムアーキテクト試験 2・システム監査技術者試験 1）

残り 24 件を表示

出典: 独立行政法人情報処理推進機構（IPA）の過去問題。問題文は IPA のサイトの PDF で確認できます。「選択肢」は、問題文ではなく選択肢に出たものです。用語名で照合しているため、関係の薄い問題が含まれることがあります。

関連キーワードの用語

PD-D生成AI

学習したデータの特徴をもとに、文章、画像、音声、動画、プログラムなどのコンテンツを新たに作り出すAI。大規模言語モデルを使った対話、要約、文書作成などに広く使われる。もっともらしい誤り（ハルシネーション）を出力することがあるため、RAGによる根拠の付与や人間による確認と組み合わせて使う。

PD-DLost in the Middle現象

大規模言語モデルに長い文脈を与えたとき、冒頭と末尾にある情報はよく使われるのに、中ほどにある情報が回答に反映されにくくなる現象。2023年の研究で報告された。RAGで多数の文書を渡す場合などは、重要な情報を先頭か末尾に置く、渡す文書を絞り込むなどの工夫が要る。

PD-Dコンテキスト腐敗

大規模言語モデルへの入力（コンテキスト）が長くなるほど、コンテキストウィンドウの上限内であっても、回答の正確さや指示への従い方が低下していく現象。2025年にChroma社の調査でContext Rotとして報告され、単純な課題でも入力の長さに応じて性能が落ちることが示された。必要な情報に絞って入力することが対策となる。

PD-DTransformer

2017年の論文「Attention Is All You Need」で提案された、自己注意機構を中心とするニューラルネットワークの構造。RNNのように系列を順に処理せず、系列中のすべての位置の関係を同時に計算するので、並列に学習でき長距離の依存関係も捉えやすい（語順の情報は位置エンコーディングで与える）。GPTやBERTなどの大規模言語モデルの基盤であり、画像や音声のモデルにも使われている。

PD-D自己教師あり学習

正解ラベルの付いていないデータから、データ自身の一部を隠して残りから当てさせるなどの方法で正解を自動的に作り、教師あり学習の形で学習する手法。文章の次の単語の予測（GPT）や穴埋め（BERT）、同じ画像を加工した組を近づける対比学習がある。人手のラベル付けなしに大量のデータで学習できるので、大規模言語モデルなどの事前学習に使われる。

PD-Dコンテキスト内学習（In-Context Learning）

大規模言語モデルが、パラメータを更新することなく、プロンプトの中に示された指示や入出力の例だけから課題のやり方を読み取って実行する能力。例を示さないゼロショット、少数の例を示すフューショットの形で使う。追加学習なしに新しい課題に対応できるが、例の選び方や並べ方で結果が変わり、コンテキストウィンドウの長さの制約も受ける。