G検定（ジェネラリスト検定） 機械学習の概要 練習問題 第50問: ある工場で、製品の画像から不良品を見分ける2値分類モデルを作った。データは600件で、そのうち不良品（陽性）は9件と少ない。このモデルを5分割交差検証で評価し、

「不良品を1件も含まない検証用の分割ができ…AUCが求められないため」が適切です。scikit-learnのユーザーガイド3.1.2.2節は、まれなクラスがあると、そのクラスを1件も含まない分割ができてROC AUCなどの指標が定まらなくなるので、各分割のクラスの比率を全体とほぼ同じに保つ層化で対処するとしています。

9件を5つに分ければ、各検証用の分割に1〜2件ずつ入ります。「ばらつきが…不確かさをより正確に表す」は逆で、同節の注記は、層化は分割を均質にするので分割間のばらつきを人為的に小さく見せうるとしています。

「学習用の分割に不良品を集め」は、比率を学習用・検証用のどちらでも保つ点と食い違います。「判別の難しいデータを…集めて」は、層化がクラスのラベルの比率で分ける方法で、判別の難しさは見ない点を取り違えています。