電気通信主任技術者 電気通信工学の基礎 練習問題 第37問: 情報源から出る事象の情報量 (自己情報量) についての記述として、正しいものはどれか。ただし、情報量は 2 を底とする対数で表し、単位はビットとする。

「互いに独立な 2 つの事象が同時に起きたときの情報量は、それぞれの情報量の和になる」が正しい記述です。確率 p の事象の情報量は I＝−log₂p [ビット] と定義されます。

独立な事象 A・B が同時に起きる確率は積 pA×pB なので、I＝−log₂(pA×pB)＝(−log₂pA)＋(−log₂pB) と和になります。「確率 1/8 の事象は確率 1/2 の事象の 4 倍」は、確率の比 8÷2 をそのまま使った誤りです。

−log₂(1/8)＝3 ビット、−log₂(1/2)＝1 ビットなので、3 倍です。「起こる確率が大きい事象ほど情報量が大きい」は逆で、起こりにくい事象ほど、起きたと知ったときの情報量は大きくなります。

「確率が 1 の事象の情報量は 1 ビット」も誤りで、−log₂1＝0 なので情報量は 0 です。起こると分かっていることを知らされても、新しく得るものはありません。

「確率は掛け算、情報量は足し算」と覚えましょう。