G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第46問: 深いニューラルネットワークの重みの初期化に関する説明として、最も適切なものはどれか。

「入力側と出力側のユニット数の和で幅を決める」正規化初期化の説明が適切です。Glorot と Bengio の論文（AISTATS 2010）は、初期状態で活性化関数が線形の領域にあると仮定し、順伝播する活性化と逆伝播する勾配の分散を層の間で保つ2つの条件の折り合いとして、重みの分散を 2÷（入力側＋出力側のユニット数）とする一様分布を提案しました。

「同じ値で初期化しても異なる特徴を学ぶ」は誤りで、同じ入力につながるユニットが同じ初期値だと同じように更新され続けるため、乱数で対称性を崩します。「従来の初期化でも勾配の分散が一定に保たれる」は逆で、論文は従来の初期化では逆伝播する勾配の分散が層によって変わり、小さくなるとしています。

「線形の領域にあるという仮定を置いていない」も誤りです。入力側のユニット数で幅を決める従来の方法と区別しましょう。