G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第9問: 画像の特徴マップ (データの件数N・チャネルC・縦H・横Wの4次元) に対する正規化の手法について、平均と分散を計算する範囲に関するAからDまでの記述のうち、適

正解: 4. A、B、D

肢4が正解です。グループ正規化を提案した論文 (Wu と He, 2018) は、4つの手法を平均と分散を計算する軸で比べています。Aは適切で、バッチ正規化はチャネルごとに (N, H, W) の軸で計算します。Bは適切で、レイヤー正規化はデータ1件ごとに (C, H, W) の軸で計算します。Cは不適切で、インスタンス正規化はデータ1件ごと・チャネルごとに縦横 (H, W) の軸だけで計算し、ミニバッチ内の他のデータは使いません。Cは、ミニバッチ内の他のデータにまたがって計算する点でバッチ正規化と取り違えています。Dは適切で、グループ正規化はデータ1件ごとに、チャネルのグループと縦横で計算します。バッチ正規化以外の3つはミニバッチの大きさに左右されない点が要点です。したがって適切なものは A、B、D で、正解は4です。

関連キーワード: バッチ正規化・レイヤー正規化・インスタンス正規化・グループ正規化・正規化層