G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第16問: 勾配降下法の学習率の説明として、最も適切なものはどれか。

正解: 1. パラメータを1回の更新で動かす幅を決める値で、大きすぎると誤差が振動して増え、小さすぎると学習が遅くなる。

肢1が正解です。Deep Learning（Goodfellowら）の4.3節は、学習率を更新の大きさを決める正のスカラーとし、パラメータを勾配と逆向きに動かす x′ = x − ε∇f(x) を示しています。同書8.3.1節は、学習率が大きすぎると学習曲線が激しく振動して誤差関数の値がしばしば大きく増え、小さすぎると学習がゆっくりしか進まないと述べています。肢2はミニバッチの大きさ（バッチサイズ）の説明です。肢3は不適切で、4.3節は曲率の項が大きいと、勾配降下の1歩でかえって誤差が増え得ると説明しています。肢4は不適切で、学習率は正の値で、進む向きは勾配の逆向きと式で決まっています。

関連キーワード: 学習率・勾配降下法・ハイパーパラメータ