トークン

大規模言語モデルが文章を処理するときの最小単位。文章はトークナイザによって、単語やその一部（サブワード）、文字、バイト列に分割され、それぞれが番号に置き換えられて入力される。日本語では1文字が1トークン以上になることも多く、モデルが一度に扱える長さ（コンテキストウィンドウ）やAPIの利用料金はトークン数で決まる。

大規模言語モデルが文章を処理するときの最小の単位。単語や、単語をさらに分けた部分（サブワード）、文字などで、テキストはトークナイザによってトークンの列に分割され、それぞれが数値に変換される。モデルが一度に扱える量や、生成AIの利用料金はトークン数で表されることが多い。

大量のテキストデータで学習された巨大なニューラルネットワークモデル。自然言語の理解と生成に優れ、文章作成、翻訳、質問応答など幅広いタスクに対応できる。LLMと略される。

文章を意味を持つ最小単位（形態素）に分割し、それぞれに品詞などの情報を付ける処理。分かち書きをしない日本語では自然言語処理の第一段階として不可欠で、検索エンジンの索引作成にも使われる。

単語の並びが文法規則に合っているかを調べ、文の構造を木の形に組み立てる処理。自然言語処理では形態素解析の次の段階にあたり、コンパイラでは字句解析の次の段階として構文木を作る。

構文解析で得た構造に対して、語の意味や整合性を判断する処理。自然言語処理では多義語がどの意味で使われているかを判別し、コンパイラでは型の不一致や未定義の変数などを検出する。

文字列や単語列を連続するn個ずつに区切って取り出したもの。2文字ずつならバイグラムという。辞書がなくても機械的に索引を作れるため全文検索に使われ、統計的な言語モデルの基礎にもなる。

大規模言語モデルの性能が、モデルのパラメータ数、学習データの量、学習に使う計算量を増やすほど、べき乗則に従って予測できる形で向上するという経験則。2020年に OpenAI の研究者らが示し、モデルの大規模化を進める根拠となった。