G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第56問: 変分オートエンコーダ (VAE) を提案した Kingma と Welling の論文で、学習のときに最大化する変分下界と、そこに含まれる KL 情報量 (KL

「KL 情報量にマイナスを付けた項と、再構成の対数尤度の期待値の項からなり…」が適切です。Kingma と Welling の論文は、変分下界をこの2つの項に分けて書き、KL の項は近似事後分布を事前分布に近づける正則化、もう一方の項はオートエンコーダでいう再構成の誤差の符号を変えたものと解釈できると述べています。

「学習データの分布とデコーダが出力する分布の差を測る」は、KL の項が比べる2つの分布の取り違えです。「KL 情報量も大きくなるように」は符号の取り違えで、下界ではマイナスが付くので KL 情報量は小さくする向きに働きます。

「正規分布のときでも解析的に計算できない」は逆で、論文の付録は両方が正規分布のときの解を示し、標本化で推定するのは再構成の項で済むとしています。