G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第47問: 多項式の次数や重み減衰の係数のように、モデルの容量を左右するハイパーパラメータの選び方に関する説明として、最も適切なものはどれか。

「訓練データから分けた検証データでの誤差をもとに選び、選び終えた後の汎化誤差の見積もりにはテストデータを使う」が適切です。Goodfellow らの『Deep Learning』5.3節は、訓練データを重ならない2つに分けて一方を検証データにし、ハイパーパラメータを選び終えた後に汎化誤差をテストデータで見積もるとしています。

「訓練データに対する誤差が最も小さくなる値を選べば」は誤りで、容量を左右するハイパーパラメータを訓練データで学ぶと、容量が最大の値が選ばれて過学習します。「テストデータの一部を切り出して作る」も誤りで、同節はテストデータの事例をモデルの選択に使わず、検証データにも入れないとしています。

「汎化誤差を実際より大きく見積もる」は向きが逆で、検証データの誤差は選択に使われた分、汎化誤差を小さく見積もります。ただし、そのずれは訓練誤差のずれよりふつうは小さいとされます。