生成AIパスポート試験 生成AIの仕組みと歴史 練習問題 第12問: TransformerのScaled Dot-Product Attentionで、Query行列Q、Key行列K、Value行列Vを使う計算の流れとして最も適

正解: 1. QKᵀをKeyの次元数の平方根で割り、Softmaxで得た重みでVを合成する

Scaled Dot-Product AttentionはQKᵀをキー次元の平方根でスケーリングし、Softmaxで得た重みをVへ適用する。「QとVを足して二値化」は定義にない。「QとKを連結して全結合層に通す」は加法型注意の得点の求め方で、重みをかけて合成する対象もKではなくVである。「シグモイドの値でKを合成する」も、Softmaxで得た重みをVに適用する定義と異なる。

関連キーワード: Attention Mechanism・Query・Key・Value・Scaled Dot-Product Attention