データサイエンティスト検定 リテラシーレベル データサイエンス(機械学習・AI・非構造化データ) 練習問題 第8問: 1,000件のデータを使い、5分割交差検証(k分割交差検証でk=5としたもの)でモデルの性能を見積もる。この手順について述べたものとして、最も適切なものはどれか
データサイエンス(機械学習・AI・非構造化データ)
– / 63 解いた
第8問
1,000件のデータを使い、5分割交差検証(k分割交差検証でk=5としたもの)でモデルの性能を見積もる。この手順について述べたものとして、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 1. 各回の標準化は、その回の検証用データを含めず、学習用データだけで平均と標準偏差を求めて行う
「各回の標準化は、その回の検証用データを含めず…」が適切です。5分割交差検証では、データを5つに分け、4つ(800件)を学習用、残りの1つ(200件)を検証用にして、検証用を入れ替えながら5回くり返し、5回の結果の平均で性能を見ます。
九州大学 数理・データサイエンス教育研究センター「データサイエンス実践 4-1」は、交差検証で汎化性能を評価するときも、テストデータを含めて正規化・標準化しないよう注意を促しています。「無作為に選び直す」は誤りで、最初に5つのブロックに分け、各ブロックを1回ずつ順に検証用にするので、同じデータが2回検証に回ることはありません。
同じ資料は、kをサンプル数にした場合をLeave-one-out(1件ずつ抜く方法)と呼んでおり、ホールドアウト法ではありません。また、交差検証は固定の評価用データよりも安定した評価ができる一方、計算コストが大きいとしています。
標準化などの前処理の平均と標準偏差は、検証用データを含めず学習用データだけで求めます。
関連キーワード: 交差検証・k分割交差検証・ホールドアウト法・標準化
模試 (100問)
この問題が解けたら、本試験はどうですか?本番形式で、ほかの科目もまとめて確かめる
本番形式の模擬試験で実力チェックPremium (月980円)Premium (ご利用中)本番と同じ制限時間
広告