G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第32問: レイヤー正規化を提案した論文 (Ba ら, 2016) が、バッチ正規化と比べた利点として述べている内容として、最も適切なものはどれか。

肢4が正解です。この論文は、バッチ正規化の効果がミニバッチの大きさに左右され、RNN への適用のしかたも明らかでないことを問題とし、1つの層のユニットへの入力の和から、1件の学習事例の中で平均と分散を計算するレイヤー正規化を提案しました。

そのため学習時と推論時にまったく同じ計算をし、統計量を時刻ごとに別々に計算すれば RNN にもそのまま適用できるとしています。

肢1は誤りで、論文は、正規化が事例どうしの新しい依存を持ち込まないことを利点としています。

肢2は誤りで、論文は RNN の隠れ状態の変化を安定させるのに特に効果的だと述べています。

肢3は誤りで、統計量は入力ごとにその場で計算します。論文は、バッチ正規化がオンライン学習や小さなミニバッチでは使いにくい点も問題に挙げています。