G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第54問: Transformer の原論文 (Vaswani ら, 2017) は、系列の長さを n、各位置の表現の次元を d として、層の種類ごとに1層あたりの計算量を

「Self-Attention の計算量は n の2乗×d に比例し、n が d より小さければ再帰層より速い」が適切です。Vaswani らの論文の表1は、計算量を Self-Attention が n の2乗×d、再帰層が n×d の2乗のオーダーとし、本文は、機械翻訳の文の表現では n が d より小さい場合が多く、そのとき Self-Attention が速いと述べています。

「d の2乗に比例し…n にほとんど左右されない」は誤りで、d の2乗が付くのは再帰層です。Self-Attention は n の2乗で増えます。

「大小関係によらず」は条件の読み落としです。「再帰層に戻す」は誤りで、論文はとても長い系列では各位置の周りの幅 r の範囲に絞って見るよう Self-Attention を制限する案を示しました。

n と d の大小で有利な層が入れ替わる点を押さえましょう。