G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第16問: RNN の学習に関する次の文の（ A ）（ B ）に入る語の組合せとして、最も適切なものはどれか。 「出力を次の時刻の入力に戻すモデルの学習で、1つ前の時刻の出

正解: 3. A：教師強制　B：BPTT

肢3が正解です。教科書 Deep Learning (Goodfellow ら) の第10章は、学習時に1つ前の時刻の正解の出力を次の時刻の入力として与える手順を教師強制 (teacher forcing)、時間方向に展開した計算グラフに誤差逆伝播法を適用する方法を BPTT (back-propagation through time) と説明しています。肢1はAとBが入れ替わっています。肢2の勾配クリッピングは、勾配の大きさに上限を設けて勾配爆発を抑える工夫で、勾配を求める方法ではありません。肢4のドロップアウトは、ユニットを無作為に無効化する正則化です。なお同じ章は、教師強制で学習したモデルを自分の出力を入力に戻して使うと、学習時と入力の性質が変わるという欠点も挙げています。

関連キーワード: 教師強制・BPTT・RNN・誤差逆伝播法