G検定(ジェネラリスト検定) ディープラーニングの概要 練習問題 第51問: Nakkiran らが2019年に arXiv で公開した論文(Deep Double Descent)の報告として、最も適切なものはどれか。
ディープラーニングの概要
– / 51 解いた
第51問
Nakkiran らが2019年に arXiv で公開した論文(Deep Double Descent)の報告として、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 1. 大きなモデルを学習し続けると、テスト誤差が一度下がった後に上がり、さらに続けると再び下がる現象を示した。
「テスト誤差が一度下がった後に上がり、さらに続けると再び下がる」が適切です。Nakkiran らの論文(arXiv:1912.02292)は、大きなモデルを学習する間のテスト誤差を調べ、学習を長く続けると過学習が正される場合があるこの現象を、エポック方向の二重降下と呼びました。
「訓練データの数を増やすと単調に改善」は誤りで、同論文はモデルと学習の手順を固定したとき、データを増やすとかえってテストの性能が悪くなる設定を示しています。「ラベルに雑音がない設定で最も強く現れる」は逆で、どの形の二重降下も訓練データのラベルに雑音がある設定で最も強く現れたとしています。
「実効的なモデルの複雑さは学習時間に左右されない」も誤りで、同論文はこの尺度が学習の手順にも依存し、学習時間を延ばすと大きくなるとしています。
関連キーワード: 二重降下現象・早期終了・エポック・過学習
広告
模試 (145問)
本試験の規模にそろえて、8分野を通して解く
オンライン試験の案内(145問程度・100分)にそろえた145問・100分(1つあたり約41秒)で、技術分野から法律・倫理まで8分野を混ぜて解きます。JDLAは分野ごとの出題数と合格ラインを公表していないため、配分と70%の目安はぴよパスの設定です。100分を取れない日は、開始画面で41分の短縮演習も選べます。Premium (月980円)Premium (ご利用中)時間制限つきの実力チェック
広告