G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第55問: 入力を出力に写す (再構成の誤差を小さくする) ように学習させるオートエンコーダについて、符号 (中間の表現) の次元と、エンコーダ・デコーダの表現力に関する説

不適切なのは「正則化を加えずに符号の次元を入力以上にし…有用な特徴を捉えやすくなる」です。Goodfellow らの教科書『Deep Learning』第14章は、エンコーダとデコーダの表現力が大きすぎると、データの分布について有用な情報を取り出さずに入力を写す学習になりうるとし、符号の次元が入力と同じか大きい場合は、線形のエンコーダとデコーダでも同じ問題が起きると述べています。

「関心があるのはデコーダの出力そのものではなく」は、同章の説明のとおりです。「表現力が大きすぎると…入力を写すようになりうる」は、符号の次元が小さくても起こる問題として示されています。

「疎性や…頑健さを求める正則化」を加えれば、次元が入力以上でも有用な表現を学べるとされています。表現力を上げるほど良いわけではない点に注意しましょう。