生成AIパスポート試験 生成AIの仕組みと歴史 練習問題 第13問: Transformer型の翻訳モデルで、デコーダ内の処理Aは生成済みの目的言語トークン同士を関連付け、処理Bは目的言語側の表現から入力文の表現を参照する。Sel

正解: 3. AはデコーダのSelf-Attention、Bはエンコーダ・デコーダAttentionである

同じ系列内の位置を関連付けるAはデコーダのSelf-Attentionである。入力文を参照するBでは、Queryがデコーダの直前層、KeyとValueがエンコーダ出力から来る。「Aがエンコーダ・デコーダAttention、BがエンコーダのSelf-Attention」は処理の種類と位置を取り違えている。Valueを等しい重みで平均すると、QueryとKeyから重みを計算するAttentionの仕組みが失われる。エンコーダ・デコーダAttentionでもQueryはデコーダ側から来るため、「Queryをエンコーダ出力から得る」は誤りで、Aをエンコーダ・デコーダAttentionとする点も誤りである。

関連キーワード: Self-Attention・自己注意力・Attention層・系列