G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第19問: ニューラルネットワークの最適化の難しさに関する説明として、最も不適切なものはどれか。

正解: 4. 高次元の非凸関数では、勾配が0になる点の大半は極小点で、鞍点が現れることはまれだと考えられている。

肢4が不適切です。Deep Learning（Goodfellowら）の8.2.3節は、多くの高次元の非凸関数では勾配が0になる点のうち極小点はまれで鞍点のほうが多く、鞍点と極小点の数の比は次元とともに指数的に増えると説明しています。鞍点は、ある断面では極小、別の断面では極大になる点です。肢1は同書4.3節の局所最適解（局所的な最小点）の定義のとおりです。肢2はNakkiranらの論文が、モデルを大きくすると性能がいったん悪化してから改善し、テスト誤差の山は訓練データにちょうど当てはまる境目（補間のしきい値）に現れると報告しています。肢3のプラトーは、Hintonの講義資料が局所最適解と見誤られやすいと述べています。

関連キーワード: 鞍点・局所最適解・大域最適解・二重降下現象