G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第18問: 勾配降下法を改良した最適化手法に関するAからDまでの記述のうち、適切なものをすべて挙げた組合せはどれか。 A　モーメンタムは、過去の勾配の指数移動平均を速度のよ

正解: 2. A、C

Aは適切です。Deep Learning（Goodfellowら）の8.3.2節は、モーメンタムが過去の勾配の指数的に減衰する移動平均を蓄え、その方向へ動き続けると説明し、Hintonの講義資料は、符号が入れ替わる勾配を打ち消して振動を抑え、一貫した勾配の方向で速度を上げると述べています。Bは不適切で、これはRMSpropの説明です。AdaGrad（Duchiら、2011）は学習の初めからの勾配の二乗の総和の平方根で学習率を割るため、同書8.5.1節は実質の学習率が早く小さくなりすぎることがあると述べています。Cは適切で、Adamの論文（Kingma・Ba）のアルゴリズムどおりです。Dは不適切で、Hintonの講義資料のとおり、RMSpropは重みごとの最近の勾配の大きさの移動平均で学習率を割るので、学習率はパラメータごとに変わります。したがって適切なものはA、Cで、正解は2です。

関連キーワード: モーメンタム・AdaGrad・RMSprop・Adam