G検定（ジェネラリスト検定） AIの社会実装と数理・統計 練習問題 第21問: 2人のアノテーターA、Bが、同じ100枚の画像それぞれに「陽性」か「陰性」のラベルを付けた。両者とも陽性としたのが76枚、Aだけが陽性としたのが4枚、Bだけが陽

肢2が正解です。scikit-learnのcohen_kappa_scoreの解説は、コーエンのκを2人のアノテーターの一致の度合いを表す統計量とし、κ＝(p_o−p_e)÷(1−p_e)（p_eは無作為にラベルを付けたときに期待される一致率）と定義しています。

一致したのは76＋16＝92枚で、p_o＝0.92。陽性の割合はA、Bとも(76＋4)÷100＝0.8なので、p_e＝0.8×0.8＋0.2×0.2＝0.68。

κ＝(0.92−0.68)÷(1−0.68)＝0.24÷0.32＝0.75です。肢3の0.92は一致率そのもの、肢4の0.24は1−p_eで割り忘れた値、肢1の0.84は偶然の一致率を0.5と置いた値（(0.92−0.5)÷0.5）です。

κは1で完全な一致、0で偶然と同程度の一致を表します。両者のラベルが陽性に偏るとp_eが高くなり、同じ一致率でもκは低くなります。