G検定(ジェネラリスト検定) ディープラーニングの概要 練習問題 第38問: 早期終了を正則化の手法として見たときの説明として、最も適切なものはどれか。
早期終了を正則化の手法として見たときの説明として、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 4. 二乗誤差の線形モデルを単純な勾配降下法で学習する場合には、早期終了はL2正則化と等価とみなせることが示されている。
肢4が正解です。Deep Learning(Goodfellowら)の7.8節は、早期終了にはパラメータを初期値の近くの比較的狭い範囲に制限する効果があるという見方を紹介し、二乗誤差の単純な線形モデルを単純な勾配降下法で学習する場合には、早期終了がL2正則化と等価とみなせることを示しています。
同節によると、学習率 ε と更新回数 τ の積 ετ は、重み減衰の係数の逆数のような役割を持ちます。
肢1は逆で、早期終了は初期値から到達できる範囲を狭めます。
肢2は不適切で、同節は早期終了を、誤差関数に罰則の項を加えずに正則化を与える方法と位置付けています。
肢3は向きが逆で、ετ が大きいほど重み減衰の係数が小さい場合に当たり、正則化は弱くなります。同節は、早期終了は検証誤差を見ながら正則化の強さを自動で決められる点で、係数を変えた学習を何度も要する重み減衰より有利だとも述べています。
関連キーワード: 早期終了・L2 正則化・重み減衰・正則化
模試 (145問)
本試験の規模にそろえて、8分野を通して解く
オンライン試験の案内(145問程度・100分)にそろえた145問・100分(1つあたり約41秒)で、技術分野から法律・倫理まで8分野を混ぜて解きます。JDLAは分野ごとの出題数と合格ラインを公表していないため、配分と70%の目安はぴよパスの設定です。100分を取れない日は、開始画面で41分の短縮演習も選べます。Premium (月980円)Premium (ご利用中)時間制限つきの実力チェック