ハフマン符号

出現頻度の高いデータには短い符号を、低いデータには長い符号を割り当てる可逆圧縮方式。ZIPやPNGなど多くの圧縮形式の基礎として使われている。

出現頻度の高い文字に短い符号、低い文字に長い符号を割り当てる可変長符号化方式。データ圧縮に広く使われ、接頭符号の性質を持つため一意に復号できる。ハフマン木を構築して符号を決定する。

通信路での伝送誤りを検出・訂正するために冗長ビットを付加する技術。誤り検出符号（パリティ、CRC）と誤り訂正符号（ハミング符号）に大別される。シャノンの通信路符号化定理が理論的上限を定める。

10進数の各桁を4ビットの2進数で表現する符号化方式。10進数の0から9をそれぞれ0000から1001に対応させる。2進化10進とも呼ばれ、金融計算など10進数の正確な表現が求められる場面で使用。パック10進数形式では1バイトに2桁を格納する。

事象の起こりにくさの尺度で、-log2(P)ビットで表される。確率Pが低い事象ほど情報量が大きい。シャノンの情報理論の基礎概念であり、エントロピー（平均情報量）の計算に用いられる。

情報源から得られる平均情報量。H = -ΣP(x)log2(P(x))で計算される。全事象が等確率のとき最大となり、データ圧縮の理論的限界を示す。符号化効率の評価やデータの不確実性の定量化に用いられる。

命題論理を拡張し、変数と述語（性質や関係を表す関数）、全称量化子（∀）と存在量化子（∃）を導入した論理体系。「すべてのxについてP(x)が成り立つ」のような命題を形式的に表現でき、関係データベースの理論的基盤。

文字列のパターンを記述するための形式言語。メタ文字（*, +, ?, [], |など）を用いてパターンを定義し、文字列の検索・置換・検証に利用される。正規言語と等価であり、有限オートマトンで認識可能。