G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第18問: 機械翻訳のSeq2Seq (エンコーダ・デコーダ) モデルと、そこに加えられた Source-Target Attention に関する説明として、最も適切なも

正解: 4. Attention を加えると、デコーダは訳語を1つ出すたびに入力文のどこに注目するかの重みを計算し、入力の情報を参照できる。

肢4が正解です。Seq2Seq の論文 (Sutskever ら, 2014) は、LSTM で入力系列を固定次元のベクトルに変換し、別の LSTM でそのベクトルから出力系列を生成しました。Bahdanau らの論文 (2014) は、この固定長のベクトルが性能向上のボトルネックになると考え、訳語を1つ予測するたびに入力文の関連する部分を探して重み付けする仕組みを提案しました。肢1は誤りで、入力と出力の長さは違ってよく、それが Seq2Seq の利点です。肢2は Attention を使わない従来の Seq2Seq の説明です。肢3はエンコーダの Self-Attention の説明です。Source-Target Attention はデコーダ側から入力文を参照する仕組みだと整理します。

関連キーワード: Seq2Seq・Source-Target Attention・エンコーダ・デコーダ・Attention