G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第5問: 隠れ層に使う活性化関数の比較として、最も適切なものはどれか。

肢2が正解です。Deep Learning（Goodfellowら）の6.3.1節は、ReLUは出力が0になる入力では勾配による学習ができないという欠点を挙げ、負の側に0.01のような小さな傾きを固定するLeaky ReLU（Maasら、2013）を紹介しています。

肢1はシグモイド関数の性質で、ハイパボリックタンジェント関数（tanh関数）の出力は−1から1の範囲に収まり、入力0で0を出力します。

肢3は不適切で、Leaky ReLUは正の入力をそのまま出力します。

肢4は逆で、同節のとおりReLUは正の入力では微分が1のまま飽和せず、勾配が大きく保たれる点が利点です。負の側の扱いが ReLU と Leaky ReLU の違いだと押さえましょう。