データサイエンティスト検定 リテラシーレベル データサイエンス(数学・統計・可視化) 練習問題 第95問: 通販サイトで、画面Aと画面Bをそれぞれ100万人ずつに無作為に表示した。購入率は画面Aが5.0%、画面Bが5.1%で、2つの比率の差の検定を行うと p 値は 0
データサイエンス(数学・統計・可視化)
– / 96 解いた
第95問
通販サイトで、画面Aと画面Bをそれぞれ100万人ずつに無作為に表示した。購入率は画面Aが5.0%、画面Bが5.1%で、2つの比率の差の検定を行うと p 値は 0.01 を下回った。この結果の読み方として、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 3. p 値が小さく出たのは人数の多さにもよるので、切り替えるかは 0.1 ポイントの差で増える売上と費用を比べて決める
「人数の多さにもよるので、売上と費用を比べて決める」が適切です。アメリカ統計学会(ASA)が2016年に公表した p 値についての声明は、p 値や統計的有意性は効果の大きさや結果の重要性を測らないこと、判断を p 値が閾値を下回るかどうかだけで決めないことを原則に挙げています。
比率の差の検定では、人数が多いほど小さな差でも p 値が小さくなります。100 万人ずつでは z ≒ 3.23、両側の p ≒ 0.0012 ですが、同じ 0.1 ポイントの差でも 10 万人ずつなら z ≒ 1.02、p ≒ 0.31 です(合併した比率による z 検定)。
「偶然だけで生じた確率は 1% 未満」は、声明が否定している読み方です。p 値が小さいことは差が無いとするモデルとデータが合わないことを示すので、「差が無いと結論できる」も誤りです。
p 値は差の大きさを表さないので、有意かどうかとは別に、差の大きさと費用で切り替える価値を判断します。
関連キーワード: p値・有意差・A/Bテスト・標本の大きさ
模試 (100問)
この問題が解けたら、本試験はどうですか?本番形式で、ほかの科目もまとめて確かめる
本番形式の模擬試験で実力チェックPremium (月980円)Premium (ご利用中)本番と同じ制限時間
広告