G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第1問: ニューラルネットワークの全結合層の説明として、最も適切なものはどれか。

正解: 1. 出力の各ユニットが入力のどの値ともつながり、重み付きの和にバイアスを加えて計算される。

肢1が正解です。全結合層は、入力のすべての値と出力の各ユニットを重みで結び、重み付きの和にバイアスを加える変換です。教科書 Dive into Deep Learning (Zhang ら) は、各出力がすべての入力に依存する層を全結合層と呼び、O = XW + b の形で表しています。肢2は、局所的な領域につなぎ重みを共有する畳み込み層の説明です。肢3は、学習するパラメータを持たないプーリング層の説明です。肢4は誤りで、同じ教科書が示すとおり、重み付きの和とバイアスの変換を重ねても同じ形の変換に1つにまとめられるので、非線形な関係を表すには層の間に活性化関数が要ります。全結合層と畳み込み層は、つながる範囲と重みの共有の有無で見分けます。

関連キーワード: 全結合層・重み・線形関数・バイアス・活性化関数