データサイエンティスト検定 リテラシーレベル データサイエンス(機械学習・AI・非構造化データ) 練習問題 第50問: ある分類モデルで、設定(ハイパーパラメータ)の組を30通り試した。試すたびにテストデータでの正解率を確かめ、最も良かった組の正解率92%を「このモデルの性能」と
データサイエンス(機械学習・AI・非構造化データ)
– / 63 解いた
第50問
ある分類モデルで、設定(ハイパーパラメータ)の組を30通り試した。試すたびにテストデータでの正解率を確かめ、最も良かった組の正解率92%を「このモデルの性能」として報告した。この92%の扱いとして、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 1. テストデータを設定選びに使ったので92%は楽観的で、選んだ後に未使用のデータで測り直す
「テストデータを設定選びに使ったので92%は楽観的で、選んだ後に未使用のデータで測り直す」が適切です。Google for Developersの機械学習の用語集(ML Glossary)は、データを訓練・検証・テストの重ならない3つに分け、テストの前に検証データで何度も評価すること、テストデータは学習と間接的にしか結び付かないので偏りの少ない指標になることを説明しています。
この例では、30通りのたびにテストデータを見て最良の組を選んだので、テストデータが設定選びに使われ、92%はそのデータにたまたま合った分だけ高めに出ます。「運用時の正解率の見込みとしてそのまま使える」は選び方による偏りを見落としています。
「30通りの正解率の平均」は選ばなかった設定の成績を混ぜた値で、テストデータも使ったままです。「訓練データでの正解率も並べて報告すれば」も、テストデータを設定選びに使った偏りは消えません。
設定は訓練データから分けた検証データで選び、性能は選んだ後に一度も使っていないテストデータで測ります。
関連キーワード: テストデータ・検証データ・ハイパーパラメータ・汎化性能
模試 (100問)
この問題が解けたら、本試験はどうですか?本番形式で、ほかの科目もまとめて確かめる
本番形式の模擬試験で実力チェックPremium (月980円)Premium (ご利用中)本番と同じ制限時間
広告