量子化（Quantization）

ニューラルネットワークモデルのパラメータを32ビット浮動小数点数から8ビット整数などの低精度表現に変換する最適化技術。モデルサイズの削減、推論速度の向上、消費電力の低減を実現する。精度の低下を抑えつつ組込みデバイスへの実装を可能にする。

モデルの軽量化の手法の一つで、ニューラルネットワークの重みや計算に使う数値を、32ビットの浮動小数点数から8ビットや4ビットの整数などの少ないビット数で表すこと。メモリ使用量と計算量を大きく減らせ、大規模言語モデルを端末で動かす際などに使われるが、精度がやや低下することがある。

学習済みのニューラルネットワークから、推論への寄与が小さい重みやユニット、チャネル、層を取り除いてモデルを軽量化する手法。個々の重みを0にする非構造化プルーニングと、チャネルや層の単位で除く構造化プルーニングがあり、後者は専用の仕組みがなくても推論を速くしやすい。精度の低下を抑えるため、除去の後に再学習（ファインチューニング）することが多い。

大きく高性能なモデル（教師モデル）の出力を手本にして、小さなモデル（生徒モデル）を学習させ、性能をなるべく保ったまま軽量化する手法で、知識蒸留ともいう。正解ラベルだけでなく、教師モデルが出す各クラスの確率の分布（ソフトターゲット）や生成した文章を学習させることで、クラス間の類似性などの知識も引き継げる。小規模言語モデルの作成に広く使われる。

大規模言語モデルに比べてパラメータ数を数億から数十億程度に抑えた言語モデル。蒸留や良質なデータの選別で性能を高めており、特定の業務や課題に絞ればLLMに近い精度を出せる。少ない計算資源で動き、応答が速く費用も低いので、スマートフォンや社内のサーバ（オンプレミス）で動かして、機密情報を外部に出さずに使う用途に向く。

AIの推論処理を、クラウドではなくカメラ、スマートフォン、産業機器などの端末側やその近くで実行する方式。応答が速く、通信が途切れても動作でき、映像などの生データを外部に送らずに済む。端末の計算資源が限られるため、モデルの軽量化やNPUなどの専用チップが用いられる。

ニューラルネットワークの推論に必要な行列演算や積和演算を、低消費電力で高速に実行するよう設計されたプロセッサ。スマートフォンやパソコンのSoCに組み込まれることが多く、画像認識や音声処理、生成AIなどを端末側で実行するエッジAIを支える。

カメラ映像の処理や画像認識などのコンピュータビジョンの処理を、低消費電力で実行するよう特化したプロセッサ。監視カメラ、ドローン、ロボットなどの機器に組み込まれ、映像をクラウドに送らずに端末側で物体検出などの推論を行うエッジAIに使われる。