G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第9問: 確率分布 P と Q に対するカルバック・ライブラー情報量 D_KL(P‖Q) と交差エントロピー H(P, Q) の説明として、最も不適切なものはどれか。

正解: 1. D_KL(P‖Q) は、P と Q が異なる分布のときに負の値をとることがあり、その絶対値の大きさで分布の違いを測る。

肢1が不適切です。Deep Learning（Goodfellowら）の3.13節は、KL情報量の最も重要な性質として非負であることを挙げ、離散変数では P と Q が同じ分布のとき、かつそのときに限り0になると述べています（肢2）。同節は交差エントロピーを H(P, Q) = H(P) + D_KL(P‖Q) と表し（肢3）、Q に関する交差エントロピーの最小化は KL 情報量の最小化と同じだと説明しています（肢4）。分類モデルの学習で交差エントロピーを誤差関数に使えるのはこの関係によります。KL 情報量は負にならないので、絶対値をとって読む必要は無い点を押さえましょう。

関連キーワード: カルバック・ライブラー情報量 (KL)・交差エントロピー・誤差関数