G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第29問: 縦横3×3の畳み込み層を2層重ねた構成 (層の間にプーリングは無く、ReLUを挟む) と、縦横5×5の畳み込み層1層を比べた説明として、最も不適切なものはどれか

肢3が不適切です。VGG の論文 (Simonyan と Zisserman, 2014) は、プーリングを挟まずに3×3の畳み込み層をストライド1で重ねると、受容野が2層で5×5、3層で7×7になり、大きなフィルタの1層と同じ範囲を見られるとしたうえで、重ねる利点を2つ挙げています。

1つは層ごとに ReLU が入って非線形の変換が増え、判別に役立つこと、もう1つは重みの数が減ることです。

肢3は1つ目の利点を否定しており、2層の構成は ReLU を2回通るのに対し、5×5の1層は1回です。肢1と肢4は適切で、論文の説明のとおりです。

肢2は適切で、1層の重みは フィルタの縦 × 横 × 入力チャネル数 × 出力チャネル数 なので18C²と25C²になります。小さいフィルタを重ねると、受容野を保ったまま重みを減らし、非線形を増やせると整理します。