G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第53問: Transformer の原論文 (Vaswani ら, 2017) の Scaled Dot-Product Attention では、クエリとキーの内積を、

「d_k が大きいと内積の絶対値が大きくなり、ソフトマックス関数の勾配がごく小さくなりやすい」が適切です。Vaswani らの論文は、d_k が小さいと内積による注意と加法的な注意の性能は同程度だが、d_k が大きいと割り算をしない内積の注意は加法的な注意に劣ったとし、その原因を、内積の値が大きくなってソフトマックス関数が勾配の極めて小さい領域に押しやられるためと推測して、√d_k で割っています。

「重みの合計を1にそろえる」のは、割り算ではなくソフトマックス関数の働きです。「計算量を減らすため」は、目的の取り違えです。

「内積による注意は計算が遅く」は逆で、論文は内積の注意は最適化された行列積で実装できるので、実際には速くメモリの効率もよいと述べています。