AP基礎理論 · 情報に関する理論

情報量

Information Content

じょうほうりょう

事象の起こりにくさの尺度で、-log2(P)ビットで表される。確率Pが低い事象ほど情報量が大きい。シャノンの情報理論の基礎概念であり、エントロピー（平均情報量）の計算に用いられる。

共有:

他の資格での定義

ある事象の起こりにくさを数値化した指標で、シャノンの情報理論に基づく。生起確率pの事象の情報量は-log₂(p)ビットで表される。確率が低い事象ほど情報量が大きい。

Past Exams

過去問で 8 回出題（ITパスポート試験 6・基本情報技術者試験 1・応用情報技術者試験 1）

出典: 独立行政法人情報処理推進機構（IPA）の過去問題。問題文は IPA のサイトの PDF で確認できます。「選択肢」は、問題文ではなく選択肢に出たものです。用語名で照合しているため、関係の薄い問題が含まれることがあります。

情報源から得られる平均情報量。H = -ΣP(x)log2(P(x))で計算される。全事象が等確率のとき最大となり、データ圧縮の理論的限界を示す。符号化効率の評価やデータの不確実性の定量化に用いられる。

出現頻度の高い文字に短いビット列、低い文字に長いビット列を割り当てる可変長符号化方式。二分木を用いて最適な前置符号を構築し、平均符号長を最小化する。データ圧縮の基礎技術として広く使用される。

通信路での伝送誤りを検出・訂正するために冗長ビットを付加する技術。誤り検出符号（パリティ、CRC）と誤り訂正符号（ハミング符号）に大別される。シャノンの通信路符号化定理が理論的上限を定める。

命題論理を拡張し、変数と述語（性質や関係を表す関数）、全称量化子（∀）と存在量化子（∃）を導入した論理体系。「すべてのxについてP(x)が成り立つ」のような命題を形式的に表現でき、関係データベースの理論的基盤。

文字列のパターンを記述するための形式言語。メタ文字（*, +, ?, [], |など）を用いてパターンを定義し、文字列の検索・置換・検証に利用される。正規言語と等価であり、有限オートマトンで認識可能。

情報量の最小単位で、0または1の2つの状態を表す。binary digitの略であり、コンピュータが扱うデータの基本単位である。