G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第20問: 早期終了とハイパーパラメータの探索の説明として、最も適切なものはどれか。

正解: 2. 早期終了は、検証データに対する誤差が改善しなくなったら学習を打ち切り、検証誤差が最も小さかったときのパラメータを使う方法である。

肢2が正解です。Deep Learning（Goodfellowら）の7.8節は、検証誤差が改善するたびにパラメータを保存し、決めた回数のあいだ改善しなければ学習を終えて、保存した最良のパラメータを返す方法を早期終了と呼んでいます。肢1は不適切で、見るのは検証データの誤差です。同節は、早期終了を「学習の回数」というハイパーパラメータを選ぶ効率のよい方法とも見なせると述べています。肢3はグリッドサーチ（候補の直積を総当たり）とランダムサーチ（分布から無作為に抽出）が逆です（同書11.4節）。肢4は逆で、Bergstra・Bengio（2012）は、同じ計算量ならランダムサーチのほうがよいモデルを見つけやすく、効くハイパーパラメータが少数のときに差が出ると報告しています。

関連キーワード: 早期終了・グリッドサーチ・ランダムサーチ・ハイパーパラメータ