G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第8問: ニューラルネットワークの出力層と誤差関数の選び方として、最も適切なものはどれか。

正解: 3. 回帰では線形（恒等関数）の出力層と平均二乗誤差関数、多クラス分類ではソフトマックス関数の出力と交差エントロピーを組み合わせることが多い。

肢3が正解です。Deep Learning（Goodfellowら）の6.2節は、線形の出力層でガウス分布の平均を出す場合、対数尤度の最大化は平均二乗誤差の最小化と同じになること、多クラス分類ではソフトマックス出力と対数尤度（交差エントロピー）の組合せがよく働くことを説明しています。肢1は不適切で、ソフトマックス関数は離散的なクラスの確率分布を表すための関数です。肢2は逆で、同節は二乗誤差ではソフトマックスの指数を対数で打ち消せず、確信を持って誤った予測をしても学習が進まないことがあると述べています。肢4は不適切で、交差エントロピー（負の対数尤度）は正解の確率が大きいほど小さくなり、学習では最小化します。

関連キーワード: 平均二乗誤差関数・交差エントロピー・ソフトマックス関数・誤差関数