G検定（ジェネラリスト検定） AI倫理・AIガバナンス 練習問題 第48問: BuolamwiniとGebruの論文「Gender Shades」（2018年）が行った、商用の性別分類システムの評価に関する説明として、最も適切なものはどれ

「釣り合いをとった評価用データセットを新たに作り、組み合わせた4つのグループごとに精度を比べた」が適切です。論文「Gender Shades」は、IJB-AとAdienceの被写体が肌の色の明るい人に大きく偏っている（79.6％と86.2％）ことを示したうえで、性別と肌の色の釣り合いをとったデータセットを作り、肌の色の濃い女性・濃い男性・明るい女性・明るい男性の4グループで3社の分類器を評価しました。

「既存のデータセットは釣り合いがとれていた」は資料の逆です。「組み合わせたグループの比較は行わなかった」は、この論文の特徴である交差的な評価の否定です。

「学習に使ったデータの中身を調べた」も誤りで、各社の説明には学習データについての記載がありませんでした。評価用データの偏りが精度の差を見えにくくする点を押さえましょう。