G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第22問: 隠れ層の活性化関数に使われる ReLU関数 g(z) = max{0, z} の、z = 0 における微分の扱いに関する説明として、最も適切なものはどれか。

肢3が正解です。Deep Learning（Goodfellowら）の6.3節は、ReLU関数 g(z) = max{0, z} は z = 0 で微分できないものの、そこでの左側の微分は0、右側の微分は1と定まっており、学習のソフトウェアはエラーにせず片側の微分を返すのが普通だと説明しています。

同節は、学習は勾配がちょうど0の点まで進まず誤差を十分に下げるだけなので、微分できない点があっても勾配降下法で十分に学習できるとも述べています。

肢1は不適切で、同書は隠れ層の既定の選択としてReLU関数を勧めています。

肢2は左右が逆で、z < 0 の側の傾きは0、z > 0 の側の傾きは1です。

肢4は不適切で、シグモイド関数とハイパボリックタンジェント関数（tanh関数）はどの点でも微分できるなめらかな関数です。「微分できない点がある」ことと「学習に使えない」ことを混同しないようにしましょう。