G検定(ジェネラリスト検定) ディープラーニングの概要 練習問題 第19問: ニューラルネットワークの最適化の難しさに関する説明として、最も不適切なものはどれか。
ディープラーニングの概要
– / 51 解いた
第19問
ニューラルネットワークの最適化の難しさに関する説明として、最も不適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 4. 高次元の非凸関数では、勾配が0になる点の大半は極小点で、鞍点が現れることはまれだと考えられている。
肢4が不適切です。Deep Learning(Goodfellowら)の8.2.3節は、多くの高次元の非凸関数では勾配が0になる点のうち極小点はまれで鞍点のほうが多く、鞍点と極小点の数の比は次元とともに指数的に増えると説明しています。
鞍点は、ある断面では極小、別の断面では極大になる点です。
肢1は同書4.3節の局所最適解(局所的な最小点)の定義のとおりです。
肢2はNakkiranらの論文が、モデルを大きくすると性能がいったん悪化してから改善し、テスト誤差の山は訓練データにちょうど当てはまる境目(補間のしきい値)に現れると報告しています。肢3のプラトーは、Hintonの講義資料が局所最適解と見誤られやすいと述べています。
関連キーワード: 鞍点・局所最適解・大域最適解・二重降下現象
広告
模試 (145問)
本試験の規模にそろえて、8分野を通して解く
オンライン試験の案内(145問程度・100分)にそろえた145問・100分(1つあたり約41秒)で、技術分野から法律・倫理まで8分野を混ぜて解きます。JDLAは分野ごとの出題数と合格ラインを公表していないため、配分と70%の目安はぴよパスの設定です。100分を取れない日は、開始画面で41分の短縮演習も選べます。Premium (月980円)Premium (ご利用中)時間制限つきの実力チェック
広告