固定小数点数

小数点の位置を固定して数値を表現する方式。整数の表現に主に使われ、演算が高速だが表現できる数値の範囲が限られる。符号ビットを含め、負の数は2の補数で表現することが多い。

小数点の位置を固定して数値を表現する方式。整数の表現に主に使われ、演算が高速だが表現範囲が限られる。負の数は2の補数で表現し、符号ビットを含めたビット列操作が重要。

浮動小数点数で有効数字を表す部分。浮動小数点数は「符号×仮数×基数の指数乗」の形で数値を表すため、仮数の桁数が多いほど表現できる精度が高くなる。単精度より倍精度のほうが仮数部が長い。

浮動小数点数で小数点の位置を表す部分。基数を何乗するかを示し、指数部の桁数が多いほど表現できる数値の範囲が広くなる。桁数を増やしても精度は上がらず、精度を決めるのは仮数部である。

0〜9とA〜Fの16種類の記号で数値を表す記数法。2進数の4桁が16進数の1桁にちょうど対応するため、ビット列を短く書き表すのに使われ、メモリのアドレスや文字コード、色の指定などの表記に用いられる。

IEEE 754で定める32ビットの浮動小数点数の形式。符号部1ビット、指数部8ビット、仮数部23ビットで、10進数でおよそ7桁の精度を持つ。

IEEE 754で定める64ビットの浮動小数点数の形式。符号部1ビット、指数部11ビット、仮数部52ビットで、10進数でおよそ15〜16桁の精度を持ち、科学技術計算などの標準として使われる。

IEEE 754で定める16ビットの浮動小数点数の形式。符号部1ビット、指数部5ビット、仮数部10ビットで、精度と表せる範囲は小さいが、メモリと計算量を節約できるため、深層学習の学習や推論、画像処理で使われる。