G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第33問: バッチ正規化 (Ioffe と Szegedy, 2015) を入れたネットワークの、学習時と推論時の計算に関する説明として、最も不適切なものはどれか。

肢3が不適切です。バッチ正規化を提案した論文 (Ioffe と Szegedy, 2015) は、ミニバッチに依存した正規化は学習を効率よくするものの、推論時には出力が入力だけで決まることが望ましいとして、学習後はミニバッチではなく母集団の統計量を使うとしています。

教科書 Dive into Deep Learning (Zhang ら) も、学習時はミニバッチの統計量、予測時はデータセット全体の統計量で正規化し、2つの場面で振る舞いが違うと説明しています。1件ずつ予測する場面では、ミニバッチの統計量を計算できるとは限りません。

肢1は適切で、学習時の計算のとおりです。

肢2は適切で、同じ教科書の実装も平均と分散の移動平均を保持して予測に使っています。

肢4は適切で、論文は推論時の正規化が各値への線形変換になると述べています。使う統計量が学習時と推論時で違う点が、レイヤー正規化との違いです。