エントロピー

情報源から得られる平均情報量。H = -ΣP(x)log2(P(x))で計算される。全事象が等確率のとき最大となり、データ圧縮の理論的限界を示す。符号化効率の評価やデータの不確実性の定量化に用いられる。

ある事象の起こりにくさを数値化した指標で、シャノンの情報理論に基づく。生起確率pの事象の情報量は-log₂(p)ビットで表される。確率が低い事象ほど情報量が大きい。

命題論理を拡張し、変数と述語（性質や関係を表す関数）、全称量化子（∀）と存在量化子（∃）を用いてより複雑な論理的関係を表現する体系。データベースの問合せ言語やAIの知識表現の基礎。

データを2次元の表（テーブル、リレーション）の集合として管理するデータベース。行（タプル）と列（属性）で構成され、テーブル間をキーで関連付けてデータの整合性を維持する。SQLによる操作が標準的で、最も広く普及しているデータベース形式。

情報量の最小単位で、0または1の2つの状態を表す。binary digitの略であり、コンピュータが扱うデータの基本単位である。

8ビットをひとまとまりにした情報量の単位。1バイトで256通り（2の8乗）の情報を表現でき、文字コードやファイルサイズの基本単位として使われる。

単位の前に付けて大きさを表す語。k（キロ:10の3乗）、M（メガ:10の6乗）、G（ギガ:10の9乗）、T（テラ:10の12乗）などがあり、情報量や処理速度の表記に使われる。