G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第12問: 次の文の空所（　）に入る語として、最も適切なものはどれか。 （　）は、学習のたびにユニットを無作為に取り除いた多数の部分ネットワークを学習させることで、指数的に

正解: 4. ドロップアウト

肢4が正解です。ドロップアウトを提案した論文（Srivastavaら、2014）は、学習中にユニットを結合ごと無作為に取り除き、指数的に多くの「間引いた」ネットワークから学習して、推論時には重みを小さくした1つのネットワークでそれらの予測の平均を近似すると説明しています。Deep Learning（Goodfellowら）の7.12節も、ドロップアウトを多数の大きなネットワークのバギングを実用的にする方法と位置付けています。肢1のバッチ正規化はミニバッチごとに層の入力を正規化する手法、肢2の早期終了は検証誤差を見て学習を打ち切る手法、肢3のL2正則化は重みの二乗和を罰則に加える手法で、いずれもユニットを取り除きません。

関連キーワード: ドロップアウト・正則化・アンサンブル