G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第52問: Sutskever ら (2014) は、LSTM を使った Seq2Seq で英語からフランス語への機械翻訳を行い、文の単語の順序を入れ替える工夫を取り入れた

「入力文の単語の順序を逆にすると、入力と出力の間に短い依存関係が多く生まれ…」が適切です。Sutskever らの論文は、入力文の語順を逆にし (訳文はそのまま)、入力文の先頭の単語を訳文の先頭の単語のすぐ近くに置くことで、短い依存関係が多く生まれて最適化がやさしくなり、性能が大きく上がったと述べています。

「逆にしたのは訳文」は、逆にした側の取り違えです。「長い依存関係が増える」は理由が逆で、論文は対応する単語どうしの平均の距離は変わらないが、最小の時間差 (minimal time lag) が大きく縮むと説明しています。

「深い LSTM は浅い LSTM より性能が低かった」も逆で、論文は深い LSTM が浅い LSTM を大きく上回ったとして4層の LSTM を使いました。この工夫で長い文の翻訳も良くなった点もあわせて押さえましょう。