G検定(ジェネラリスト検定) ディープラーニングの概要 練習問題 第32問: 勾配降下法の学習率のスケジューリング(学習の進み具合に応じて学習率を変えること)の説明として、最も適切なものはどれか。
ディープラーニングの概要
– / 51 解いた
第32問
勾配降下法の学習率のスケジューリング(学習の進み具合に応じて学習率を変えること)の説明として、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 1. 学習の途中で学習率を下げる減衰に加え、初めは小さい学習率から徐々に上げるウォームアップを組み合わせることがある。
肢1が正解です。Dive into Deep Learning(Zhangら)の12.11節は、学習の途中で学習率を下げると精度が上がり過学習も減ることがあり、進みが止まったときに学習率を区分的に下げる方法が実際に有効だと説明しています。
同節は、学習の初めに大きな学習率を使うと発散しやすく、小さくすると進みが遅いという板挟みへの簡単な対処として、ウォームアップの期間に学習率を最大の値まで(多くは直線的に)上げ、その後に下げていく方法を紹介しています。
肢2は時期が逆で、終わりに解を細かく調整するには、同節のコサイン型のスケジュールのように学習率をごく小さくします。
肢3は不適切で、学習率を変えてもパラメータは初期化されません。
肢4は逆で、区分的なスケジュールは段階的に学習率を下げます。
関連キーワード: 学習率・勾配降下法・ハイパーパラメータ
広告
模試 (145問)
本試験の規模にそろえて、8分野を通して解く
オンライン試験の案内(145問程度・100分)にそろえた145問・100分(1つあたり約41秒)で、技術分野から法律・倫理まで8分野を混ぜて解きます。JDLAは分野ごとの出題数と合格ラインを公表していないため、配分と70%の目安はぴよパスの設定です。100分を取れない日は、開始画面で41分の短縮演習も選べます。Premium (月980円)Premium (ご利用中)時間制限つきの実力チェック
広告