G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第19問: Transformer を提案した論文 (Vaswani ら, 2017) の内容として、最も適切なものはどれか。

正解: 2. Multi-Head Attention は、ヘッドごとに別の射影で並列に Attention を計算し、異なる部分空間に同時に注目できる。

肢2が正解です。この論文は、クエリ・キー・バリューをヘッドごとに異なる学習済みの線形変換で射影し、h 個のヘッドで Attention を並列に計算して結合 (Concat) する Multi-Head Attention を用い、異なる表現の部分空間の情報に同時に注目できるとしています。肢1は誤りで、デコーダの Self-Attention は、自己回帰の性質を保つため後ろの位置を参照しないようマスクをかけます。肢3は誤りで、論文の表1では Self-Attention が全位置をつなぐ逐次的な計算は系列の長さによらない定数回、再帰層は長さに比例する回数で、Self-Attention のほうが並列化しやすいとしています。肢4は誤りで、論文は正弦波と余弦波の位置エンコーディングを採用し、学習する埋め込みでもほぼ同じ結果だったと述べています。

関連キーワード: Transformer・Multi-Head Attention・Self-Attention・位置エンコーディング・マスク