G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第36問: 次の文の空所（ A ）（ B ）に入る語句の組合せとして、最も適切なものはどれか。 学習時に各ユニットを確率 p で残す（確率 1 − p で取り除く）ドロップ

肢2が正解です。ドロップアウトを提案した論文（Srivastavaら、2014）は、学習時に確率 p で残したユニットについて、推論時は取り除かずに使い、そのユニットから出る重みに p を掛けると説明しています。

こうすると、推論時の出力が、学習時にユニットを無作為に取り除いたときの出力の期待値と同じになります。Deep Learning（Goodfellowら）の7.12節はこれを重みスケーリング推論規則と呼び、学習時にユニットの出力を 1/p 倍しておけば推論時に重みを変えずに済むという、同じ目的の別のやり方も紹介しています。

肢1と肢4の 1 − p は取り除く確率で、たとえば p = 0.8 なら重みを0.2倍に縮めすぎます。肢3の 1/p は学習時に出力へ掛ける場合の倍率で、推論時に重みへ掛けるものではなく、そろえる対象も分散ではありません。