G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第21問: Attention におけるクエリ (Query)・キー (Key)・バリュー (Value) の役割の説明として、最も不適切なものはどれか。

正解: 3. クエリとキーの内積が大きいほど、そのキーに対応するバリューに付く重みは小さくなる。

肢3が不適切です。Transformer を提案した論文 (Vaswani ら, 2017) は、Attention を、クエリとキー・バリューの組から出力を求める関数とし、出力はバリューの重み付きの和で、各バリューの重みはクエリと対応するキーの適合度から計算するとしています。Scaled Dot-Product Attention では内積を √d_k で割ってソフトマックス関数を通すので、内積が大きいキーほど、対応するバリューの重みは大きくなります。肢1と肢2は適切で、この計算の流れのとおりです。肢4は適切で、論文は Self-Attention の層ではキー・バリュー・クエリがすべて同じ所 (前の層の出力) から来ると述べています。重みを付ける対象はキーではなくバリューである点も確認しておきます。

関連キーワード: クエリ・キー・バリュー・Self-Attention・Attention