G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第5問: 隠れ層に使う活性化関数の比較として、最も適切なものはどれか。

正解: 2. ReLU関数は負の入力で勾配が0になるが、Leaky ReLU関数は負の入力にも0.01などの小さな傾きを残す。

肢2が正解です。Deep Learning（Goodfellowら）の6.3.1節は、ReLUは出力が0になる入力では勾配による学習ができないという欠点を挙げ、負の側に0.01のような小さな傾きを固定するLeaky ReLU（Maasら、2013）を紹介しています。肢1はシグモイド関数の性質で、ハイパボリックタンジェント関数（tanh関数）の出力は−1から1の範囲に収まり、入力0で0を出力します。肢3は不適切で、Leaky ReLUは正の入力をそのまま出力します。肢4は逆で、同節のとおりReLUは正の入力では微分が1のまま飽和せず、勾配が大きく保たれる点が利点です。負の側の扱いが ReLU と Leaky ReLU の違いだと押さえましょう。

関連キーワード: tanh 関数・ReLU 関数・Leaky ReLU 関数・勾配消失問題