G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第2問: 入力が784次元、隠れ層が100ユニット、出力層が10ユニットの全結合のニューラルネットワーク (入力層→隠れ層→出力層) がある。隠れ層と出力層の各ユニットは

正解: 2. 79,510

肢2が正解です。全結合層のパラメータ数は「入力の数 × 出力の数 (重み) + 出力の数 (バイアス)」です。Dive into Deep Learning (Zhang ら) も、隠れ層の重みを 入力の次元 × 隠れユニット数 の行列、バイアスを隠れユニット数の分として表しています。 入力層→隠れ層: 784 × 100 + 100 = 78,500 隠れ層→出力層: 100 × 10 + 10 = 1,010 合計: 78,500 + 1,010 = 79,510 肢1の79,400はバイアス (100 + 10 = 110個) を数え忘れた値、肢3の78,500は入力層→隠れ層の1層分の値、肢4の784,000は784 × 100 × 10と層の大きさを掛け合わせた値です。入力層は計算をしないので、パラメータは隠れ層と出力層の2つの層にあります。

関連キーワード: 全結合層・パラメータ数・バイアス・多層パーセプトロン