述語論理

命題論理を拡張し、主語と述語の関係や変数の量化（すべての、ある〜が存在する）を扱える論理体系。データベースの問合せやAIの知識表現の基礎となる。

命題論理を拡張し、変数と述語（性質や関係を表す関数）、全称量化子（∀）と存在量化子（∃）を用いてより複雑な論理的関係を表現する体系。データベースの問合せ言語やAIの知識表現の基礎。

真または偽の値をとる命題と、否定・論理和・論理積・含意などの論理結合子で構成される論理体系。真理値表を用いて論理式の真偽を判定でき、デジタル回路設計やプログラムの条件式の基盤となる。

事象の起こりにくさの尺度で、-log2(P)ビットで表される。確率Pが低い事象ほど情報量が大きい。シャノンの情報理論の基礎概念であり、エントロピー（平均情報量）の計算に用いられる。

情報源から得られる平均情報量。H = -ΣP(x)log2(P(x))で計算される。全事象が等確率のとき最大となり、データ圧縮の理論的限界を示す。符号化効率の評価やデータの不確実性の定量化に用いられる。

出現頻度の高い文字に短いビット列、低い文字に長いビット列を割り当てる可変長符号化方式。二分木を用いて最適な前置符号を構築し、平均符号長を最小化する。データ圧縮の基礎技術として広く使用される。

通信路での伝送誤りを検出・訂正するために冗長ビットを付加する技術。誤り検出符号（パリティ、CRC）と誤り訂正符号（ハミング符号）に大別される。シャノンの通信路符号化定理が理論的上限を定める。

文字列のパターンを記述するための形式言語。メタ文字（*, +, ?, [], |など）を用いてパターンを定義し、文字列の検索・置換・検証に利用される。正規言語と等価であり、有限オートマトンで認識可能。