生成AIパスポート試験 生成AIの仕組みと歴史 練習問題 第12問: TransformerのScaled Dot-Product Attentionで、Query行列Q、Key行列K、Value行列Vを使う計算の流れとして最も適

正解: 4. QKの転置積を次元数の平方根で割ってSoftmaxを取り、その重みでVを合成する

Scaled Dot-Product AttentionはQKᵀをキー次元の平方根でスケーリングし、Softmaxで得た重みをVへ適用する。「QとVを足して二値化」「Kだけを畳み込む」は定義にない。「V同士の距離だけ」ではQueryとKeyの対応度を計算できない。

関連キーワード: Attention Mechanism・Query・Key・Value・Scaled Dot-Product Attention