G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第8問: バッチ正規化 (Batch Normalization) の説明として、最も適切なものはどれか。

正解: 2. ミニバッチごとに層への入力を平均と分散で正規化し、学習を安定させる。

肢2が正解です。バッチ正規化を提案した論文 (Ioffe と Szegedy, 2015) は、学習中に前の層のパラメータが変わると各層への入力の分布が変わる現象を内部共変量シフトと呼び、ミニバッチごとに層への入力を正規化してモデルの一部に組み込むことで、大きな学習率を使えるようにしました。畳み込み層では、同じ特徴マップ (チャネル) の値をミニバッチ内の全位置でまとめて正規化し、スケールとシフトのパラメータをチャネルごとに学習します。肢1はドロップアウト、肢3はL2正則化 (重み減衰) の説明です。肢4は誤りで、バッチ正規化はネットワークの内部の層に入れる処理です。入力データの前処理の正規化と混同しないようにします。

関連キーワード: バッチ正規化・正規化層・内部共変量シフト・ミニバッチ