G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第4問: シグモイド関数 σ(x) = 1/(1 + exp(−x)) の性質として、最も適切なものはどれか。

正解: 1. 出力は0より大きく1より小さい範囲に収まり、導関数の最大値は x = 0 のときの0.25である。

肢1が正解です。Deep Learning（Goodfellowら）の3.10節は、シグモイド関数の導関数が σ(x)(1 − σ(x)) になることを示しています。σ(0) = 0.5 なので、x = 0 で 0.5 × 0.5 = 0.25 が最大となり、|x| が大きくなると出力が0か1に飽和して導関数は0に近づきます。このため多くの層を通ると勾配が小さくなりやすく（勾配消失問題）、同書6.3.2節は隠れ層での使用を勧めていません。肢2はハイパボリックタンジェント関数（tanh関数）、肢3は ReLU 関数の説明です。肢4は飽和の性質と逆です。出力の範囲が0〜1の関数と−1〜1の関数を取り違えないようにしましょう。

関連キーワード: シグモイド関数・勾配消失問題・活性化関数