G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第35問: RNN を時間方向に展開して長い系列を学習するとき、勾配消失や勾配爆発が起こりやすい理由の説明として、最も適切なものはどれか。

肢3が正解です。教科書 Deep Learning (Goodfellow ら) の10.7節は、RNN が時刻ごとに同じ関数を何度も合成することに原因があるとし、活性化関数を省いた h(t) = Wᵀh(t − 1) で考えると、h(t) には W を t 回掛けることになり、固有値が t 乗されて、絶対値が1より小さい成分は0へ減衰し、1より大きい成分は発散すると説明しています。

Pascanu らの論文 (2012) も、勾配がヤコビ行列の積の形になることを示し、線形の場合には再帰の重み行列の最大の固有値 (の絶対値) が1より小さいことが長期の成分が消える十分条件、1より大きいことが爆発の必要条件だとしています。

肢1は誤りで、RNN は時刻ごとに同じ重みを共有します。

肢2は誤りで、上の説明のとおり線形の場合でも起こります。

肢4は誤りで、BPTT は過去の時刻へ勾配を伝えます。