G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第49問: モーメンタム法で、速度 v を v ← αv − εg、パラメータ θ を θ ← θ ＋ v で更新する。同じ勾配 g が学習の間ずっと続くと、1回の更新でパ

1.2が適切です。Goodfellow らの『Deep Learning』8.3.2節は、同じ勾配 g が続くとモーメンタム法の速度は一定に近づき、1回の更新の大きさが ε‖g‖÷（1−α）になると述べています。

式 v＝αv−εg で v が変わらなくなる値を解くと v＝−εg÷（1−α）で、ε＝0.05、‖g‖＝6、α＝0.75 を代入すると、0.05×6÷（1−0.75）＝0.3÷0.25＝1.2 です。0.3は ε‖g‖ そのもので、モーメンタムを使わない勾配降下法の1回の更新の大きさです。

0.075は 1−α で割るところを掛けた誤りです。0.4は 1−α ではなく α で割った誤りです。

α が1に近いほど 1÷（1−α）が大きくなり、同じ向きの勾配が続く方向への更新が加速されることを押さえましょう。