G検定（ジェネラリスト検定） AIの社会実装と数理・統計 練習問題 第26問: 確率変数Xは1, 2, 3, 4の4つの値をそれぞれ確率1/4でとり、YはXが偶数なら1、奇数なら0をとる確率変数とする。相互情報量を I(X;Y)＝H(X)−

肢2が正解です。MacKayの『Information Theory, Inference, and Learning Algorithms』第8章は、相互情報量をI(X;Y)≡H(X)−H(X|Y)と定義し、yの値を知ることでxの不確かさが平均してどれだけ減るかを測る量で、I(X;Y)＝I(Y;X)、I(X;Y)≧0を満たすとしています。

Xは4通りの値を等しい確率でとるのでH(X)＝log₂4＝2ビット。Yを知るとXは2通りに等しい確率で絞られるのでH(X|Y)＝log₂2＝1ビット。

よってI(X;Y)＝2−1＝1ビットです。H(Y)−H(Y|X)＝1−0＝1ビットでも同じです。

肢1の0ビットはXとYが独立な場合の値、肢3の2ビットはH(X)そのもので、YからXが1つに決まる場合の値、肢4の3ビットはH(X)とH(Y)の和です。相互情報量は、一方を知ったときに減る他方の不確かさです。