Top-k

生成AIが次のトークンを選ぶとき、確率の高い上位k個のトークンだけを候補として残し、その中から選ぶ方式とそのパラメータ。kを小さくすると出力が安定し、大きくすると多様になる。候補の数が常にk個に固定される点がTop-pと異なる。

生成AIが出力する文章などの多様性や意外性を、生成時のパラメータで調整すること。大規模言語モデルは次に続くトークンを確率に基づいて選ぶため、Temperature、Top-p、Top-kなどの設定によって、毎回ほぼ同じ確実な回答を出すか、多様で創造的な回答を出すかを用途に応じて変えられる。

大規模言語モデルが次のトークンを選ぶときの確率分布の偏りを調整するパラメータ。値を小さくすると確率の高い候補が選ばれやすくなり、出力が安定して再現性が高まる。値を大きくすると確率の低い候補も選ばれやすくなって多様で創造的な出力になる一方、不正確な出力も増えるため、事実の回答には低く、アイデア出しには高く設定する。

大規模言語モデルが次のトークンを選ぶとき、確率の高い順に候補を並べ、累積確率が指定した値pに達するまでの候補だけから選ぶ方法、またはその値。p=0.9なら上位から合計90%の確率を占める候補に限定し、確率の低い不自然な候補を除く。候補の数が状況に応じて変わる点がTop-kと異なり、核サンプリングとも呼ぶ。

与えられた指示や文脈に続く文章を生成するAIモデル。現在の主流はTransformerを使った大規模言語モデルで、前の文脈から次のトークンの確率を計算して1つずつ選ぶことを繰り返して文章を作る。どのトークンを選ぶかは温度（Temperature）やTop-pなどで調整し、要約、翻訳、文書作成、対話、プログラムの生成に使われる。