蒸留（Distillation）

大きく高性能なモデル（教師モデル）の出力を手本にして、小さなモデル（生徒モデル）を学習させ、性能をなるべく保ったまま軽量化する手法で、知識蒸留ともいう。正解ラベルだけでなく、教師モデルが出す各クラスの確率の分布（ソフトターゲット）や生成した文章を学習させることで、クラス間の類似性などの知識も引き継げる。小規模言語モデルの作成に広く使われる。

モデルの軽量化の手法の一つで、大規模で高性能なモデル（教師モデル）の出力を正解の代わりに使って、小規模なモデル（生徒モデル）を学習させること。知識蒸留ともいう。教師モデルが持つ判断の傾向を引き継がせることで、小さなモデルでも元に近い性能を得られる。

学習済みのニューラルネットワークから、推論への寄与が小さい重みやユニット、チャネル、層を取り除いてモデルを軽量化する手法。個々の重みを0にする非構造化プルーニングと、チャネルや層の単位で除く構造化プルーニングがあり、後者は専用の仕組みがなくても推論を速くしやすい。精度の低下を抑えるため、除去の後に再学習（ファインチューニング）することが多い。

モデルの軽量化の手法の一つで、ニューラルネットワークの重みや計算に使う数値を、32ビットの浮動小数点数から8ビットや4ビットの整数などの少ないビット数で表すこと。メモリ使用量と計算量を大きく減らせ、大規模言語モデルを端末で動かす際などに使われるが、精度がやや低下することがある。

アナログ信号を一定の時間間隔で区切り、各時点の値を取り出すこと。標本化ともいい、A/D変換の最初の段階に当たる。1秒間に取り出す回数をサンプリング周波数といい、元の信号に含まれる最高周波数の2倍以上にすると元の信号を再現できる（標本化定理）。

AIの推論処理を、クラウドではなくカメラ、スマートフォン、産業機器などの端末側やその近くで実行する方式。応答が速く、通信が途切れても動作でき、映像などの生データを外部に送らずに済む。端末の計算資源が限られるため、モデルの軽量化やNPUなどの専用チップが用いられる。

アナログ信号を、標本化、量子化、符号化の3つの段階でデジタル信号に変換する方式。音質は標本化周波数と量子化ビット数で決まり、音楽CDは44.1kHz、16ビットで記録している。WAVなどの非圧縮の音声データの基本となる。

標本化で取り出したアナログ値を、何段階のデジタル値で表すかを示すビット数。nビットなら2のn乗段階で表現でき、ビット数が多いほど元の信号に近い細かな表現ができるが、データ量も増える。音楽CDは16ビットである。