G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第48問: ミニバッチ学習で、1回の更新に使う事例の数（ミニバッチの大きさ）と勾配の推定に関する説明として、最も適切なものはどれか。ただし、事例1件ごとの勾配の値の標準偏差

「標準誤差は σ/√n なので、16倍にしても1/4にとどまる」が適切です。Goodfellow らの『Deep Learning』8.1.3節は、n 件から推定した平均の標準誤差が σ/√n であり、勾配の推定に使う事例を増やしても、得られる精度は事例の数に比例しては伸びないと述べています。

16倍にすると標準誤差は 1÷√16＝1/4 になり、計算量が16倍になるのに比べて得るものは小さくなります。「σ/n なので1/16にまで下がる」は、平方根を取り忘れた誤りです。

「正確な勾配をゆっくり計算するほうが速く収束する」は逆で、同節は多くの最適化手法が近似の勾配を素早く計算するほうが総計算量あたりで速く収束するとしています。「オンライン学習のほうが推定の精度が高い」も逆で、大きなミニバッチほど勾配の推定は正確になります。

精度の伸びと計算量の増え方の違いを押さえましょう。