G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第31問: Adamを改良した最適化手法に関するAからDまでの記述のうち、適切なものをすべて挙げた組合せはどれか。 A AMSGradは、2次モーメントの推定値のそれまでの
Adamを改良した最適化手法に関するAからDまでの記述のうち、適切なものをすべて挙げた組合せはどれか。 A AMSGradは、2次モーメントの推定値のそれまでの最大値を使って更新の大きさを正規化し、ステップの大きさが学習の途中で増えないようにした。 B AdaBoundとAMSBoundは、それぞれAdamとAMSGradのパラメータごとの学習率に動的な下限と上限を設け、下限は0から、上限は無限大から始めて、学習が進むにつれてどちらも同じ一定の値に近づける。 C AdaBoundは、学習の初めはSGDと同じ一定の学習率で更新し、学習が進むにつれてAdamのようなパラメータごとの学習率へ移っていく。 D AdaBoundを提案した論文は、学習の終盤に極端に大きい学習率に加えて極端に小さい学習率も現れ、それが適応的な手法の性能を悪くし得ると指摘している。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 4. A、B、D
Aは適切です。AMSGradの論文（Reddiら）は、Adamの2次モーメントの推定値 v_t の代わりにその時点までの v_t の最大値で正規化するので、ステップの大きさが増えないと説明しています。
Bは適切です。AdaBoundの論文（Luoら）は、AdamとAMSGradの学習率を要素ごとに下限と上限の間へ切り詰める AdaBound と AMSBound を提案し、下限は0、上限は無限大から始まって、どちらも一定の最終的な値に近づくとしています。
Cは不適切で順序が逆です。初めは上下限がほとんど効かずAdamのように振る舞い、上下限が狭まるにつれてSGDへ滑らかに移ります。
Dは適切で、同論文はAdamの学習の終わりに極端に大きい学習率と小さい学習率の両方が現れることを示し、それが性能を悪くし得ると論じています。したがって適切なものはA、B、Dで、正解は4です。
関連キーワード: AMSGrad・AdaBound・AMSBound・Adam・最適化手法
模試 (145問)
本試験の規模にそろえて、8分野を通して解く
オンライン試験の案内（145問程度・100分）にそろえた145問・100分（1つあたり約41秒）で、技術分野から法律・倫理まで8分野を混ぜて解きます。JDLAは分野ごとの出題数と合格ラインを公表していないため、配分と70%の目安はぴよパスの設定です。100分を取れない日は、開始画面で41分の短縮演習も選べます。Premium (月980円)Premium (ご利用中)時間制限つきの実力チェック