G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第35問: 万能近似定理とニューラルネットワークの深さの関係に関する説明として、最も適切なものはどれか。

肢4が正解です。Deep Learning（Goodfellowら）の6.4.1節は、万能近似定理を、線形の出力層と少なくとも1つの隠れ層を持つ順伝播型ネットワークが、十分な数の隠れユニットがあれば広い範囲の関数を任意の精度で近似できるという結果として紹介しています。

一方で必要なユニットの数は示されず、最悪の場合は指数的な数のユニットが要るとし、多くの場合、深いモデルは必要なユニットの数を減らせると述べています。

肢1は不適切で、同節は、定理が保証するのは表現できることで、学習アルゴリズムがその関数を学べることは保証されないと述べています。

肢2は逆で、定理はシグモイド関数のような値を押しつぶす非線形の活性化関数で示され、その後ReLU関数を含む広い範囲の関数でも証明されています。

肢3は、浅いモデルでは指数的な数のユニットが要る関数があるという記述と食い違います。