G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第50問: ニューラルネットワークの誤差関数が持つ局所最適解と、モデルの識別可能性に関する説明として、最も不適切なものはどれか。

「識別可能性から生じる局所最適解は誤差の値が大きく異なり、学習の妨げになる」が不適切です。Goodfellow らの『Deep Learning』8.2.2節は、隠れユニットの入れ替えなどで同じモデルになる重みが多数あるため局所最適解はとても多くなるが、それらは互いに誤差関数の値が等しく、問題になる非凸性ではないとしています。

「入力側の重みとバイアス、出力側の重みを丸ごと入れ替えても変わらない」は、同節が重み空間の対称性と呼ぶ性質です。「正の数 α を掛け、出力側を 1/α 倍しても出力は変わらない」も、ReLU のネットワークについて同節が挙げる識別不能性の例です。

「隠れユニットを持たない小さなネットワークでも誤差の大きい局所最適解を持つ例を作れる」も同節の記述どおりです。問題になるのは、大域最適解より誤差がずっと大きい局所最適解であることを押さえましょう。