G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第43問: 3クラス分類の出力層で、ソフトマックス関数への入力を z ＝（z_1、z_2、z_3）、出力の確率を p ＝（p_1、p_2、p_3）とし、誤差には交差エントロ

（0.3、−0.5、0.2）が適切です。Dive into Deep Learning（Zhangら）の4.1.2節は、ソフトマックス関数と交差エントロピー誤差を組み合わせると、入力 z_j での偏微分が p_j − y_j、つまりモデルが出した確率とワンホットの正解との差になることを示しています。

代入すると（0.3 − 0、0.5 − 1、0.2 − 0）＝（0.3、−0.5、0.2）です。（−0.3、0.5、−0.2）は y − p を計算した、符号が逆の誤りです。

（0.3、0.5、0.2）は正解の y を引き忘れ、確率 p をそのまま答えています。（0、−2、0）は、L を z ではなく確率 p で偏微分した −y_k/p_k で、正解のクラスで −1/0.5 ＝ −2 になった値です。

正しい勾配の成分の和は 1 − 1 ＝ 0 になるので、検算に使えます。