G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第46問: バッチ正規化に関する次の文の（ A ）（ B ）に入る語句の組合せとして、最も適切なものはどれか。 「バッチ正規化では、ミニバッチの平均と分散で正規化した値に、

「A：拡大縮小と平行移動　B：恒等変換」が適切です。Ioffe と Szegedy のバッチ正規化の論文は、正規化した値に γ を掛けて β を足す変換 (scale and shift) を加え、γ と β をほかのパラメータと一緒に学習するとしています。

シグモイド関数の入力が線形に近い領域に制限されるといった表現力の変化に対し、挿入した変換が恒等変換も表せるようにするためで、γ を元の標準偏差、β を元の平均にすれば正規化前の値に戻せます。「重みの減衰」は重みの大きさへの罰則で、γ と β の働きではありません。

「平均0・分散1への固定」は正規化そのものの結果で、γ と β はそこから離れて元の値に戻ることも許すためのものです。γ と β は、正規化で変わりうる表現力を取り戻すためのパラメータだと押さえましょう。