データサイエンティスト検定 リテラシーレベル データサイエンス(機械学習・AI・非構造化データ) 練習問題 第62問: 顧客が解約するかどうかを予測する分類モデルを作った。データ全体のうち「解約しない」顧客が60%を占める。訓練データでの正解率は62%、検証データでの正解率は60
データサイエンス(機械学習・AI・非構造化データ)
– / 63 解いた
第62問
顧客が解約するかどうかを予測する分類モデルを作った。データ全体のうち「解約しない」顧客が60%を占める。訓練データでの正解率は62%、検証データでの正解率は60%だった。この結果の読み方と次の手として、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 1. 全員を「解約しない」と予測したときとほぼ同じ正解率の未学習の状態なので、特徴量を見直すか表現力の高いモデルを試す
全員を「解約しない」と予測するのとほぼ同じ成績の未学習と読み、特徴量やモデルを見直すのが適切です。「解約しない」が60%なので、何も学ばずに全員を「解約しない」とするだけで正解率は60%になります。
訓練62%・検証60%は、この基準を訓練で2ポイント、検証で0ポイントしか上回っていません。Google for Developers『Machine Learning Glossary』は、モデルが訓練データの複雑さを捉えきれず予測の力が低い状態を未学習(underfitting)とし、原因に誤った特徴量の組での学習や強すぎる正則化などを挙げています。
同じ用語集は過学習(overfitting)を、訓練データに合わせすぎて新しいデータで正しく予測できない状態とし、正則化で減らせるとしています。過学習なら訓練の正解率が高く検証で落ちるはずですが、訓練も62%にとどまります。
訓練でも検証でも、全員を多数派と予測したときの正解率をほとんど上回らなければ未学習で、正則化を強めても改善せず、かえって悪くなることがあります。
関連キーワード: 未学習・過学習・正解率・ベースライン
模試 (100問)
この問題が解けたら、本試験はどうですか?本番形式で、ほかの科目もまとめて確かめる
本番形式の模擬試験で実力チェックPremium (月980円)Premium (ご利用中)本番と同じ制限時間
広告