生成AIパスポート試験 生成AIの仕組みと歴史 練習問題 第13問: Transformer型の翻訳モデルで、デコーダ内の処理Aは生成済みの目的言語トークン同士を関連付け、処理Bは目的言語側の表現から入力文の表現を参照する。Sel

正解: 1. AはデコーダのSelf-Attention、BはデコーダのQueryとエンコーダ出力のKey・Valueを使うAttentionである

同じ系列内の位置を関連付けるAはデコーダのSelf-Attentionである。入力文を参照するBでは、Queryがデコーダの直前層、KeyとValueがエンコーダ出力から来る。「Aがエンコーダ・デコーダAttention、BがSelf-Attention」は参照元を逆にしている。「Queryを使わず単純平均」はAttentionの重み計算を失う。「Aが入力文を直接参照し、Bが同一位置だけを参照」も、AとBの情報源および複数位置を重み付けする性質の両方に反する。

関連キーワード: Self-Attention・自己注意力・Attention層・系列