電気通信主任技術者 電気通信工学の基礎 練習問題 第38問: 4 種類の記号 A・B・C・D を、互いに独立に、それぞれ確率 1/2・1/4・1/8・1/8 で出す情報源がある。この情報源のエントロピー (1 記号あたりの

「1.75 ビット/記号」が正しい値です。エントロピーは、各記号の情報量 −log₂p にその記号の確率 p を掛けて足し合わせた平均で、H＝Σp×(−log₂p) です。

各記号の情報量は、確率 1/2 の記号が 1 ビット、1/4 が 2 ビット、1/8 が 3 ビットなので、H＝½×1＋¼×2＋⅛×3＋⅛×3＝0.5＋0.5＋0.375＋0.375＝1.75 ビット/記号になります。「2.00 ビット/記号」は 4 記号が等確率のときの値 log₂4 で、確率のかたよりを無視しています。

「1.50 ビット/記号」は、確率 1/8 の記号の情報量を 2 ビットと数えた値 (0.5＋0.5＋0.25＋0.25) です。「1.375 ビット/記号」は、同じ確率 1/8 の C と D を 1 つにまとめ、⅛×3 を 1 回しか足していない値 (0.5＋0.5＋0.375) です。

記号の数が同じなら、等確率のときにエントロピーが最大になり、確率がかたよるほど小さくなることも合わせて押さえましょう。