G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第30問: Transformer (Vaswani ら, 2017) のエンコーダを構成する1つの層の説明として、最も適切なものはどれか。

肢4が正解です。Transformer の論文の3.1節は、エンコーダの各層が、Multi-Head の Self-Attention と、位置ごとの全結合のフィードフォワードネットワークの2つのサブ層からなり、各サブ層の周りに残差接続を置いてからレイヤー正規化をかける (出力は LayerNorm(x + Sublayer(x))) と述べています。

肢1は誤りで、フィードフォワードネットワークのサブ層もあります。

肢2は誤りで、残差接続はサブ層ごとに置かれ、正規化はバッチ正規化ではなくレイヤー正規化です。

肢3は誤りで、同じ論文の3.3節のとおり、フィードフォワードネットワークは各位置に別々に同じ重みで適用され、2つの線形変換の間に ReLU を挟む形です。デコーダは、これにエンコーダの出力を参照する3つ目のサブ層を加えます。