Top-k

大規模言語モデルが次のトークンを選ぶとき、確率の高い上位k個の候補だけに絞り、その中から確率に応じて選ぶ方法、またはその値。kを小さくすると出力が安定し、大きくすると多様になる。候補の数が常にk個に固定される点が、累積確率で絞るTop-pと異なる。

生成AIが次のトークンを選ぶときの確率分布の偏りを調整するパラメータ。値を小さくすると確率の高いトークンが選ばれやすくなり、出力が安定して決定的になる。値を大きくすると確率の低いトークンも選ばれやすくなり、多様で創造的だが誤りも増えやすい出力になる。

生成AIの出力のばらつきを、Temperature、Top-p、Top-kなどのパラメータで調整すること。ばらつきを抑えると同じ入力にほぼ同じ回答を返す決定的出力になり、事実の回答やデータの抽出に向く。ばらつきを大きくすると多様な創造的出力になり、アイデア出しや文章の創作に向く。

生成AIが次のトークンを選ぶとき、確率の高い順に並べたトークンを累積確率が設定値pに達するまで候補として残し、その中から選ぶ方式とそのパラメータ。確率分布の形に応じて候補の数が変わる。nucleus samplingとも呼ばれ、pを小さくすると出力が安定する。

音をデジタル化したデータで、音の波形を一定の間隔で標本化し、各時点の値を量子化して符号化する（PCM）。データ量は、サンプリング周波数×量子化ビット数×チャネル数×時間で求められる。形式には非圧縮のWAVや、圧縮したMP3、AACなどがある。

母集団からサンプルを抽出して監査手続を実施し、その結果に基づいて母集団全体について結論を導出する手法。統計的サンプリングと非統計的サンプリング（判断サンプリング）に大別される。

確率論に基づいてサンプルを無作為に抽出し、サンプリングリスクを定量的に評価する手法。結論の客観性が高く、サンプル数の決定に数学的根拠を持つ。属性サンプリングと変量サンプリングがある。