エントロピー

情報源が持つ平均情報量のこと。各事象の情報量にその生起確率を掛けて合計した値で表される。エントロピーが大きいほど不確実性が高く、データ圧縮の理論的な限界を示す。

事象の起こりにくさの尺度で、-log2(P)ビットで表される。確率Pが低い事象ほど情報量が大きい。シャノンの情報理論の基礎概念であり、エントロピー（平均情報量）の計算に用いられる。

出現頻度の高い文字に短いビット列、低い文字に長いビット列を割り当てる可変長符号化方式。二分木を用いて最適な前置符号を構築し、平均符号長を最小化する。データ圧縮の基礎技術として広く使用される。

通信路での伝送誤りを検出・訂正するために冗長ビットを付加する技術。誤り検出符号（パリティ、CRC）と誤り訂正符号（ハミング符号）に大別される。シャノンの通信路符号化定理が理論的上限を定める。

命題論理を拡張し、変数と述語（性質や関係を表す関数）、全称量化子（∀）と存在量化子（∃）を導入した論理体系。「すべてのxについてP(x)が成り立つ」のような命題を形式的に表現でき、関係データベースの理論的基盤。

文字列のパターンを記述するための形式言語。メタ文字（*, +, ?, [], |など）を用いてパターンを定義し、文字列の検索・置換・検証に利用される。正規言語と等価であり、有限オートマトンで認識可能。

情報量の最小単位で、0または1の2つの状態を表す。binary digitの略であり、コンピュータが扱うデータの基本単位である。