データサイエンティスト検定 リテラシーレベル データサイエンス(機械学習・AI・非構造化データ) 練習問題 第42問: 0〜1の値をとる変数を0.1刻みで区切ると10区画になる。変数が2つなら10×10=100区画、3つなら10×10×10=1,000区画で、どの区画にも少なくと
0〜1の値をとる変数を0.1刻みで区切ると10区画になる。変数が2つなら10×10=100区画、3つなら10×10×10=1,000区画で、どの区画にも少なくとも1件のデータを置くには、変数が1つ増えるごとに要る件数が10倍になる。このように、特徴量の数を増やすと同じ件数のデータでは空間がまばらになり、近くのデータを手がかりにする手法などが働きにくくなる。この現象を指す言葉として、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 2. 次元の呪い
「次元の呪い」が適切です。0.1刻みの区画の数は、変数1つで10、2つで10×10=100、3つで10×10×10=1,000と、変数が1つ増えるごとに10倍になります。
同じ件数のデータでは、変数が増えるほど1区画あたりの件数が減り、空間がまばらになります。scikit-learn 1.7 の資料も、決めた半径の中の近くのデータで分類する方法や、近くのデータを探す木の構造(KD木)が、高次元では働きにくくなることを、次元の呪いの表れとしています。
「次元削減」は、主成分分析などで元の変数より少ない数の特徴量にまとめて扱う手法で、現象の名前ではありません。出典:『高等学校情報科「情報Ⅱ」教員研修用教材』(文部科学省)を加工して作成。
「過学習」は訓練データに合わせ込みすぎて新しいデータで外れる現象、「勾配消失」は深いネットワークの入力に近い層で勾配が小さくなり、重みがほとんど更新されなくなる現象です。特徴量が増えると同じ件数ではデータがまばらになり、近くのデータを手がかりにする手法などが働きにくくなる。
これが次元の呪いです。
関連キーワード: 次元の呪い・特徴量・次元削減・最近傍法
模試 (100問)
この問題が解けたら、本試験はどうですか?本番形式で、ほかの科目もまとめて確かめる
本番形式の模擬試験で実力チェックPremium (月980円)Premium (ご利用中)本番と同じ制限時間