G検定(ジェネラリスト検定) AIの社会実装と数理・統計 練習問題 第22問: 陽性が全体の1%しかない不均衡なデータで、2値分類モデルを学習・評価するときの説明として、最も不適切なものはどれか。
陽性が全体の1%しかない不均衡なデータで、2値分類モデルを学習・評価するときの説明として、最も不適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 4. バランス正解率は、各クラスについて、そのクラスと予測したもののうち実際にそのクラスだった割合(適合率)を求め、それらを平均した指標である。
肢4が不適切です。scikit-learnのユーザーガイドは、バランス正解率を、不均衡なデータで性能が過大に見積もられるのを避ける指標とし、各クラスの再現率(実際にそのクラスであるもののうち、そのクラスと正しく予測できた割合)のマクロ平均と定義しています。
適合率の平均ではありません。
肢1は、陰性が99%のデータで起きる正解率の見かけの高さです。肢2について、どの入力にも陰性と予測すると、陽性の再現率は0、陰性の再現率は1なので、バランス正解率は(0+1)÷2=0.5です。
同ガイドも、不均衡に助けられて正解率が高く見えるだけの分類器では、バランス正解率が1÷クラス数まで下がるとしています。
肢3は、scikit-learnのSVMの解説が不均衡な問題への対処として挙げるクラスの重み(class_weight)の考え方です。どの指標を平均したものかを区別しましょう。
関連キーワード: 不均衡データ・バランス正解率・再現率・正解率
模試 (145問)
本試験の規模にそろえて、8分野を通して解く
オンライン試験の案内(145問程度・100分)にそろえた145問・100分(1つあたり約41秒)で、技術分野から法律・倫理まで8分野を混ぜて解きます。JDLAは分野ごとの出題数と合格ラインを公表していないため、配分と70%の目安はぴよパスの設定です。100分を取れない日は、開始画面で41分の短縮演習も選べます。Premium (月980円)Premium (ご利用中)時間制限つきの実力チェック