FE基礎理論 · 情報に関する理論

情報量

Information Content

じょうほうりょう

ある事象の起こりにくさを数値化した指標で、シャノンの情報理論に基づく。生起確率pの事象の情報量は-log₂(p)ビットで表される。確率が低い事象ほど情報量が大きい。

共有:

他の資格での定義

事象の起こりにくさの尺度で、-log2(P)ビットで表される。確率Pが低い事象ほど情報量が大きい。シャノンの情報理論の基礎概念であり、エントロピー（平均情報量）の計算に用いられる。

Past Exams

過去問で 8 回出題（ITパスポート試験 6・基本情報技術者試験 1・応用情報技術者試験 1）

出典: 独立行政法人情報処理推進機構（IPA）の過去問題。問題文は IPA のサイトの PDF で確認できます。「選択肢」は、問題文ではなく選択肢に出たものです。用語名で照合しているため、関係の薄い問題が含まれることがあります。

情報源が持つ平均情報量のこと。各事象の情報量にその生起確率を掛けて合計した値で表される。エントロピーが大きいほど不確実性が高く、データ圧縮の理論的な限界を示す。

命題論理を拡張し、変数と述語（性質や関係を表す関数）、全称量化子（∀）と存在量化子（∃）を用いてより複雑な論理的関係を表現する体系。データベースの問合せ言語やAIの知識表現の基礎。

データを2次元の表（テーブル、リレーション）の集合として管理するデータベース。行（タプル）と列（属性）で構成され、テーブル間をキーで関連付けてデータの整合性を維持する。SQLによる操作が標準的で、最も広く普及しているデータベース形式。

情報量の最小単位で、0または1の2つの状態を表す。binary digitの略であり、コンピュータが扱うデータの基本単位である。

8ビットをひとまとまりにした情報量の単位。1バイトで256通り（2の8乗）の情報を表現でき、文字コードやファイルサイズの基本単位として使われる。

単位の前に付けて大きさを表す語。k（キロ:10の3乗）、M（メガ:10の6乗）、G（ギガ:10の9乗）、T（テラ:10の12乗）などがあり、情報量や処理速度の表記に使われる。