G検定（ジェネラリスト検定） 機械学習の概要 練習問題 第21問: モデルの選択と評価に関する説明として、最も不適切なものはどれか。

肢4が不適切です。The Elements of Statistical Learning（Hastie ほか）第7章は、データを学習用・検証用・テスト用に分け、テストデータは分析の最後まで使わずにおくのが理想で、テスト誤差が最小のモデルを繰り返し選ぶと、選んだモデルのテスト誤差は真の誤差を（ときに大きく）過小に見積もると述べています。

肢1は正しく、同書7.10節の k分割交差検証の手順です。

肢2も正しく、同書7.7節によれば BIC は AIC の罰則の係数2を log N に置き換えたもので、N が e² ≈ 7.4 を超えると複雑なモデルにより重い罰則がかかり、単純なモデルが選ばれやすくなります。

肢3も正しく、Deep Learning（Goodfellow ほか）第5章が紹介する節約の原理です。モデルを選ぶのは検証データ、最終評価はテストデータと役割を分けます。