G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第15問: 深いニューラルネットワークの勾配消失問題・勾配爆発問題への対策の説明として、最も不適切なものはどれか。

正解: 3. 重みの初期値を大きくするほどシグモイド関数が飽和しにくくなるので、勾配消失を防ぐには初期値を大きめにとる。

肢3が不適切です。重みが大きいと活性化関数への入力の絶対値が大きくなり、シグモイド関数は0か1に飽和して勾配がかえって小さくなります（Deep Learning（Goodfellowら）6.3.2節）。Glorotら（2010）は、層の入力側と出力側のユニット数に応じて初期値のばらつきを調整し、層を進んでも活性化と勾配の分散を保つ初期化を提案しています。肢1は同書6.3.1節のとおりです。肢2はResNetの論文（Heら）のショートカット接続で、何層かを飛び越えて入力を恒等写像のまま出力に足し、深いネットワークを最適化しやすくしています。同じ著者らの続く論文（2016）は、この恒等写像の経路を通じて勾配が浅い層へ直接伝わり、消えにくいと分析しています。肢4はPascanuらが、勾配のノルムがしきい値以上のときに縮めて勾配爆発に対処する方法として示しています。

関連キーワード: 勾配消失問題・勾配爆発問題・ReLU 関数・スキップ結合