G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第51問: 出力を次の時刻の入力に戻す RNN を教師強制で学習し、その後、自分の出力を次の時刻の入力に戻しながら系列を生成させる。このときの問題とその対策に関する説明とし

「学習時と生成時で受け取る入力がかなり異なりうるので、生成した値と正解の値を無作為に選んで入力に使う方法がある」が適切です。Goodfellow らの『Deep Learning』第10章は、教師強制で学習したネットワークを、出力を入力に戻す閉ループで使うと、学習時と使うときの入力がかなり異なりうると指摘し、対策に、生成した値と実際のデータの値を無作為に選んで入力に使う方法 (Bengio ら) を挙げています。

「入力の違いはなくなる」は向きが逆です。「正解の値を入力に使う割合を少しずつ増やしていく」も逆で、この方法は生成した値を徐々に多く使います。

「正解の値を与え続ける」は不利の原因である厳密な教師強制のままで、同じ章は、教師強制の入力と自分の出力を戻す入力の両方で学習する対策も挙げています。教師強制で学習しても、使うときの入力とのずれは残りうる点を押さえましょう。