G検定(ジェネラリスト検定) ディープラーニングの概要 練習問題 第30問: Zeilerが提案した最適化手法 AdaDelta の説明として、最も適切なものはどれか。
Zeilerが提案した最適化手法 AdaDelta の説明として、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 2. 勾配の二乗の減衰平均の平方根で割ることに加え、過去の更新量の二乗の減衰平均の平方根を掛けて単位をそろえ、学習率の手動設定を不要にした。
肢2が正解です。AdaDeltaの論文(Zeiler)は、AdaGradの2つの欠点、すなわち学習の間ずっと学習率が小さくなり続けることと、大域的な学習率を手で選ぶ必要があることを改めるため、①勾配の二乗を初めから足し続ける代わりに指数的に減衰する平均を使い、②更新量の単位がパラメータの単位と合うよう、過去の更新量の二乗の減衰平均の平方根(RMS)を分子に置いたと説明しています。
更新は Δx_t = −(RMS[Δx]_{t−1} ÷ RMS[g]_t) × g_t で、同論文は学習率を手で設定しなくてよいことを利点の筆頭に挙げています。
肢1は、手で学習率を調整する必要をなくすという目的と逆です。
肢3は不適切で、同論文はこの方法が1次の情報(勾配)しか使わず、勾配と更新量のRMSの比でヘッセ行列を近似していると述べています。
肢4は分子と分母が逆です。
関連キーワード: AdaDelta・AdaGrad・学習率・最適化手法
模試 (145問)
本試験の規模にそろえて、8分野を通して解く
オンライン試験の案内(145問程度・100分)にそろえた145問・100分(1つあたり約41秒)で、技術分野から法律・倫理まで8分野を混ぜて解きます。JDLAは分野ごとの出題数と合格ラインを公表していないため、配分と70%の目安はぴよパスの設定です。100分を取れない日は、開始画面で41分の短縮演習も選べます。Premium (月980円)Premium (ご利用中)時間制限つきの実力チェック