Temperature

生成AIが次のトークンを選ぶときの確率分布の偏りを調整するパラメータ。値を小さくすると確率の高いトークンが選ばれやすくなり、出力が安定して決定的になる。値を大きくすると確率の低いトークンも選ばれやすくなり、多様で創造的だが誤りも増えやすい出力になる。

大規模言語モデルが次のトークンを選ぶとき、確率の高い上位k個の候補だけに絞り、その中から確率に応じて選ぶ方法、またはその値。kを小さくすると出力が安定し、大きくすると多様になる。候補の数が常にk個に固定される点が、累積確率で絞るTop-pと異なる。

生成AIが出力する文章などの多様性や意外性を、生成時のパラメータで調整すること。大規模言語モデルは次に続くトークンを確率に基づいて選ぶため、Temperature、Top-p、Top-kなどの設定によって、毎回ほぼ同じ確実な回答を出すか、多様で創造的な回答を出すかを用途に応じて変えられる。

大規模言語モデルが次のトークンを選ぶとき、確率の高い順に候補を並べ、累積確率が指定した値pに達するまでの候補だけから選ぶ方法、またはその値。p=0.9なら上位から合計90%の確率を占める候補に限定し、確率の低い不自然な候補を除く。候補の数が状況に応じて変わる点がTop-kと異なり、核サンプリングとも呼ぶ。