蒸留（Distillation）

大きく高性能なモデル（教師モデル）の出力を手本にして、小さなモデル（生徒モデル）を学習させ、性能をなるべく保ったまま軽量化する手法で、知識蒸留ともいう。正解ラベルだけでなく、教師モデルが出す各クラスの確率の分布（ソフトターゲット）や生成した文章を学習させることで、クラス間の類似性などの知識も引き継げる。小規模言語モデルの作成に広く使われる。

AIの推論処理を、クラウドではなくカメラ、スマートフォン、産業機器などの端末側やその近くで実行する方式。応答が速く、通信が途切れても動作でき、映像などの生データを外部に送らずに済む。端末の計算資源が限られるため、モデルの軽量化やNPUなどの専用チップが用いられる。

モデルの軽量化の手法の一つで、ニューラルネットワークの中で推論への寄与が小さい重みやノード、層などを取り除くこと。パラメータ数と計算量を減らして、推論の高速化やメモリ使用量の削減を図る。取り除いた後に再学習して精度の低下を抑えることが多い。

モデルの軽量化の手法の一つで、ニューラルネットワークの重みや計算に使う数値を、32ビットの浮動小数点数から8ビットや4ビットの整数などの少ないビット数で表すこと。メモリ使用量と計算量を大きく減らせ、大規模言語モデルを端末で動かす際などに使われるが、精度がやや低下することがある。