データサイエンティスト検定 リテラシーレベル データサイエンス(機械学習・AI・非構造化データ) 練習問題 第7問: ある分類モデルを作ったところ、訓練データでの正解率は99%だったが、学習に使っていない検証データでの正解率は70%にとどまり、過学習が疑われた。過学習を抑えるた
データサイエンス(機械学習・AI・非構造化データ)
– / 63 解いた
第7問
ある分類モデルを作ったところ、訓練データでの正解率は99%だったが、学習に使っていない検証データでの正解率は70%にとどまり、過学習が疑われた。過学習を抑えるための手として、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 3. 訓練時に最小化する損失関数に正則化の項を加え、重みが大きくなりすぎないようにして学習し直す
「訓練時に最小化する損失関数に正則化の項を加え…」が適切です。訓練データでだけ正解率が高いのは、訓練データに過剰に合わせた過学習です。
産業技術総合研究所「機械学習品質マネジメントガイドライン 第4版」(CC BY 4.0)は、損失関数に正則化の項を加えると、重みの絶対値が過剰に大きくなるのを抑え、過学習を抑えられるとしています。「説明変数を正規化して」は名前の似た別の処理です。
九州大学 数理・データサイエンス教育研究センター「データサイエンス実践 4-1」(CC BY)は、正規化を特定の範囲(例えば0〜1)に値を収める前処理とし、正規化と正則化は全く意味が違うと注意しています。同じ資料は、データ数が多いほど汎化性能と経験性能の差が小さくなりやすいとしており、「件数を絞り」は逆の手です。
また、最適化を繰り返しすぎると過学習するので適当なところで打ち切る(early stopping)としており、「打ち切らないようにする」も逆です。過学習を抑えるのは正則化で、正規化ではないと押さえましょう。
関連キーワード: 過学習・汎化性能・検証データ
模試 (100問)
この問題が解けたら、本試験はどうですか?本番形式で、ほかの科目もまとめて確かめる
本番形式の模擬試験で実力チェックPremium (月980円)Premium (ご利用中)本番と同じ制限時間
広告