G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第50問: 長い系列で RNN を学習するとき、一定の時刻数で逆伝播を打ち切る BPTT (truncated BPTT) が使われる。この方法の説明として、最も適切なもの

「最初の時刻まで勾配をさかのぼる計算は重く、不安定になりやすいので、打ち切って真の勾配を近似する」が適切です。Zhang らの『Dive into Deep Learning』は、系列の最初までさかのぼる計算は遅いうえ、初期条件のわずかな違いが結果を大きく変えて勾配が発散しうるので実際にはほとんど使われず、τ ステップで打ち切ると真の勾配の近似になるが実用上よく働くと説明しています。

「完全に一致する」は誤りで、打ち切った勾配は近似です。「長期の依存関係を重視する」は逆で、打ち切るとモデルは主に短期の影響に注目し、わずかな正則化の効果もあるとされます。

「無作為に変える方法」は、同じ資料で、理論上は魅力的でも通常の打ち切りより大きくは良くならないとされています。打ち切りは近似であり、短期を重視する方向に働くと押さえましょう。