G検定（ジェネラリスト検定） 機械学習の概要 練習問題 第21問: モデルの選択と評価に関する説明として、最も不適切なものはどれか。

正解: 4. ホールドアウト検証で、テストデータの誤差を見ながらモデルを何度も選び直しても、最後に選んだモデルのテスト誤差は新しいデータに対する誤差を偏りなく見積もっている

肢4が不適切です。The Elements of Statistical Learning（Hastie ほか）第7章は、データを学習用・検証用・テスト用に分け、テストデータは分析の最後まで使わずにおくのが理想で、テスト誤差が最小のモデルを繰り返し選ぶと、選んだモデルのテスト誤差は真の誤差を（ときに大きく）過小に見積もると述べています。肢1は正しく、同書7.10節の k分割交差検証の手順です。肢2も正しく、同書7.7節によれば BIC は AIC の罰則の係数2を log N に置き換えたもので、N が e² ≈ 7.4 を超えると複雑なモデルにより重い罰則がかかり、単純なモデルが選ばれやすくなります。肢3も正しく、Deep Learning（Goodfellow ほか）第5章が紹介する節約の原理です。モデルを選ぶのは検証データ、最終評価はテストデータと役割を分けます。

関連キーワード: ホールドアウト検証・k-分割交差検証・ベイズ情報量規準・オッカムの剃刀・汎化性能