蒸留（Distillation）

モデルの軽量化の手法の一つで、大規模で高性能なモデル（教師モデル）の出力を正解の代わりに使って、小規模なモデル（生徒モデル）を学習させること。知識蒸留ともいう。教師モデルが持つ判断の傾向を引き継がせることで、小さなモデルでも元に近い性能を得られる。

学習済みのニューラルネットワークから、推論への寄与が小さい重みやユニット、チャネル、層を取り除いてモデルを軽量化する手法。個々の重みを0にする非構造化プルーニングと、チャネルや層の単位で除く構造化プルーニングがあり、後者は専用の仕組みがなくても推論を速くしやすい。精度の低下を抑えるため、除去の後に再学習（ファインチューニング）することが多い。

ニューラルネットワークの重みや計算に使う数値を、32ビットや16ビットの浮動小数点数から8ビットや4ビットの整数などの低いビット数の表現に変換して、モデルを軽量化する手法。メモリ使用量と計算量が減り、推論の高速化やスマートフォン・エッジ機器での実行が可能になる。学習後に変換するPTQと、量子化を前提に学習するQATがあり、ビット数を下げすぎると精度が落ちる。

AIの推論処理を、クラウドではなくカメラ、スマートフォン、産業機器などの端末側やその近くで実行する方式。応答が速く、通信が途切れても動作でき、映像などの生データを外部に送らずに済む。端末の計算資源が限られるため、モデルの軽量化やNPUなどの専用チップが用いられる。