データサイエンティスト検定 リテラシーレベル データサイエンス(数学・統計・可視化) 練習問題 第62問: あるサービスのアクセスログが、1 年分 100 万行、記録した日時の順に並んでいる。分析の手順を試す段階で処理を軽くするため、10 万行に減らして使う。10 万
データサイエンス(数学・統計・可視化)
– / 96 解いた
第62問
あるサービスのアクセスログが、1 年分 100 万行、記録した日時の順に並んでいる。分析の手順を試す段階で処理を軽くするため、10 万行に減らして使う。10 万行の選び方として、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 4. 100 万行から無作為に 10 万行を選び、1 年のどの時期の行も同じ確率で選ばれるようにして使う
100 万行から無作為に 10 万行を選ぶのが適切です。無作為に選べば、どの行も同じ確率で選ばれるので、季節や曜日、時間帯による違いが、もとのデータとほぼ同じ割合で残ります。
九州大学 数理・データサイエンス教育研究センター『応用プログラミング演習(画像解析)3 DNN』でも、データ量を 10 分の 1 に減らすときにランダムサンプリングを使っています。このログは日時の順に並んでいるので、先頭の 10 万行は 1 年のはじめの時期に偏り、形式を確かめても時期の偏りは消えません。
いちばん新しい 10 万行も、1 年の終わりの時期に偏ります。アクセスの多い曜日の行だけを選ぶと、ほかの曜日の利用のされ方が抜け落ちます。
どれも、手順を試した結果が 1 年分のデータでの結果と違ってしまうおそれがあります。データを減らすときは、どの部分も同じ確率で選ばれる抜き出し方にしましょう。
関連キーワード: サンプリング・無作為抽出・データの偏り
模試 (100問)
この問題が解けたら、本試験はどうですか?本番形式で、ほかの科目もまとめて確かめる
本番形式の模擬試験で実力チェックPremium (月980円)Premium (ご利用中)本番と同じ制限時間
広告