数値解析

方程式の解、積分、微分方程式の解など、式の変形だけでは厳密に求めにくい値を、コンピュータの数値計算で近似的に求める方法と、その誤差や収束の性質を研究する分野。二分法・ニュートン法による方程式の解法、シンプソン法などの数値積分、オイラー法などの微分方程式の解法、補間法、連立方程式の掃出法が含まれる。丸め誤差や打切り誤差の扱いが重要である。

計算を繰り返したとき、得られる値が一定の値に限りなく近づいていくこと。ニュートン法などの反復による数値計算や機械学習の学習では、値の変化が許容誤差より小さくなったことを収束とみなして計算を打ち切る。

浮動小数点演算において、ほぼ等しい2つの数の減算を行った際に、有効桁数が大幅に減少する現象。結果の上位桁が相殺されて0になり、残った下位桁の精度が低いために生じる。

浮動小数点演算において、絶対値の大きく異なる2つの数の加減算を行った際に、小さい方の数の有効桁が失われる現象。指数部を合わせる過程で小さい数の下位桁が切り捨てられるために発生する。

演算結果がデータ型で表現できる最大値を超えること。固定小数点演算では桁あふれ、浮動小数点演算では指数部が表現範囲を超えた場合に発生する。結果が不正確になるため対策が必要。

浮動小数点演算において、演算結果が表現できる最小値よりも0に近くなること。指数部が表現範囲の下限を下回った場合に発生し、結果は0または非正規化数として扱われる。

数値を有限桁で表現する際に、表現できない桁を四捨五入や切り捨てなどで処理することで生じる誤差。浮動小数点演算で必ず考慮すべき問題であり、演算の順序によって蓄積量が変わる。