G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第48問: 物体検出やセグメンテーションのように、メモリの制約から小さなバッチで学習することが多いタスクについて、グループ正規化 (Group Normalization)

「バッチの次元を使わずに統計量を計算するので、…バッチ正規化より向く」が適切です。Wu と He のグループ正規化の論文は、バッチ正規化はバッチが小さくなると統計量の推定が不正確になって誤差が急に増え、メモリの制約で小さなバッチを使う物体検出・セグメンテーション・動画での利用が妨げられると指摘しています。

グループ正規化はチャネルをグループに分けて統計量を計算するので、計算がバッチの大きさに依存しません。「バッチ内の複数のデータにわたって」計算するのはバッチ正規化です。

「バッチを小さくするとバッチ正規化の誤差は小さくなる」は向きが逆です。「通常の大きさのバッチで大きく下回る」も誤りで、論文は通常の大きさのバッチではバッチ正規化と同程度の性能だとしています。

バッチの大きさへの依存の有無が両者の違いです。