エッジAI

クラウドに送らず、機器そのものやその近くでAIの推論を行う方式。通信の遅延がなく、データを外に出さないためプライバシーも守りやすい。処理能力と消費電力の制約が設計上の課題となる。

クラウドに送らず、端末や現場の機器側でAIの推論処理を実行する方式。通信の遅延がなく応答が速い、通信量を抑えられる、映像などの生データを外部に出さずに済むためプライバシー保護に有利、という利点がある。

エッジデバイス上でAI（機械学習モデル）の推論処理を行う技術。クラウドに依存せずリアルタイムの判断が可能で、プライバシー保護やネットワーク帯域の削減にも寄与する。NPU（ニューラルプロセッシングユニット）搭載のSoCが増えている。

エッジデバイス上でAI（機械学習モデル）の推論処理を行う技術。クラウドに依存せずリアルタイムの判断が可能で、プライバシー保護やネットワーク帯域の削減にも寄与する。NPU（ニューラルプロセッシングユニット）搭載のSoCが増えている。

AIの学習や推論に必要な大量の行列演算を高速かつ低消費電力で実行するよう設計された半導体チップの総称。GPUのほか、TPU、NPUなどの専用プロセッサ、FPGAやASICによる専用回路があり、データセンター向けと端末向けで求められる性能が異なる。

モデルの軽量化の手法の一つで、ニューラルネットワークの中で推論への寄与が小さい重みやノード、層などを取り除くこと。パラメータ数と計算量を減らして、推論の高速化やメモリ使用量の削減を図る。取り除いた後に再学習して精度の低下を抑えることが多い。

モデルの軽量化の手法の一つで、大規模で高性能なモデル（教師モデル）の出力を正解の代わりに使って、小規模なモデル（生徒モデル）を学習させること。知識蒸留ともいう。教師モデルが持つ判断の傾向を引き継がせることで、小さなモデルでも元に近い性能を得られる。

モデルの軽量化の手法の一つで、ニューラルネットワークの重みや計算に使う数値を、32ビットの浮動小数点数から8ビットや4ビットの整数などの少ないビット数で表すこと。メモリ使用量と計算量を大きく減らせ、大規模言語モデルを端末で動かす際などに使われるが、精度がやや低下することがある。

大規模言語モデルに、答えだけでなく、答えに至る途中の推論の過程を段階的に書き出させる手法。思考の連鎖とも呼ばれ、プロンプトで推論の例を示したり「段階的に考えて」と指示したりする。計算や論理的な推論を要する問題の正答率が向上し、推論の過程を確認しやすくなる。

大規模言語モデルに、推論の途中で複数の考え方の候補を分岐させて木構造のように展開させ、各候補を評価しながら有望なものを選んで探索させる手法。行き詰まったら別の候補に戻って考え直せるため、一本道で推論するCoTより、計画や試行錯誤を要する問題に強い。