1級電気通信工事施工管理技士 (第一次検定) 電気通信工学等(電気・電子・情報の基礎) 練習問題 第7問: 5種類の記号A、B、C、D、Eを、それぞれ確率1/4、1/4、1/4、1/8、1/8で互いに独立に発生する情報源がある。この情報源が出す記号1個あたりの情報量の
電気通信工学等(電気・電子・情報の基礎)
– / 16 解いた
第7問
5種類の記号A、B、C、D、Eを、それぞれ確率1/4、1/4、1/4、1/8、1/8で互いに独立に発生する情報源がある。この情報源が出す記号1個あたりの情報量の期待値Hを求めよ。ただし、H=−Σp log2 p(pは各記号の発生確率)とし、log2(1/4)=−2、log2(1/8)=−3とする。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 3. 2.25ビット
「2.25ビット」が適当です。記号1個あたりの情報量の期待値(平均情報量)は、各記号の情報量−log2 pに、その記号の発生確率pを掛けて足し合わせたものです。
確率の和は3×1/4+2×1/8=1で、情報源として成り立っています。確率1/4の記号は情報量2ビットで3種類、確率1/8の記号は情報量3ビットで2種類なので、H=3×(1/4×2)+2×(1/8×3)=1.5+0.75=2.25ビット/記号です。
「2.5ビット」は、5つの記号を全部確率1/4(情報量2ビット)とみなして5×(1/4×2)とした値で、確率の和が1を超える取り違えです。「2.4ビット」は、各記号の情報量2、2、2、3、3を、確率で重みを付けずに単純平均した値です。
「3ビット」は、最も発生しにくい記号(確率1/8)1つの情報量で、平均ではありません。記号1個あたりの情報量の期待値は、各記号の情報量を発生確率で重み付けした平均で、発生しやすい記号ほど重く数えます。
関連キーワード: 平均情報量・エントロピー・情報量・情報理論
広告
広告