データサイエンティスト検定 リテラシーレベル データサイエンス(機械学習・AI・非構造化データ) 練習問題 第61問: 顧客を、年間の購入額(1万〜50万円の範囲を円の単位で記録)と来店回数(1〜20回)の2つの変数で表し、k近傍法で新しい顧客の分類を予測する。距離にはユークリッ
顧客を、年間の購入額(1万〜50万円の範囲を円の単位で記録)と来店回数(1〜20回)の2つの変数で表し、k近傍法で新しい顧客の分類を予測する。距離にはユークリッド距離を使う。2つの変数をそのままの値で距離に使ったところ、近いと判定される顧客が、ほとんど購入額だけで決まっていた。この場合の対応として、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 3. 各変数を平均0・標準偏差1に変換して標準化してから、ユークリッド距離で近い顧客を選び直す
各変数を平均0・標準偏差1に標準化してから距離を測り直すのが適切です。k近傍法は、新しい点に距離の近い学習データの点を決まった数だけ探して予測します(scikit-learn 1.7のドキュメント Nearest Neighbors)。
購入額が1万円、来店回数が10回違う2人の距離は√(10,000²+10²)≒10,000で、来店回数の差はほとんど効きません。Google for Developers『Machine Learning Crash Course』は、範囲の大きく違う特徴量をそのまま使うと範囲の広い特徴量に引きずられるとして正規化を勧め、その1つにZスコア(標準化)を挙げています。
購入額だけを自然対数にすると差は最大でも約3.9(ln50万−ln1万)になり、今度は最大19の来店回数の差が距離をほぼ決めます。上限と下限で切り詰めても、差の絶対値を足すマンハッタン距離に替えても、購入額は円の単位のままで、その差が支配します。
範囲の大きく違う変数で距離を測るときは、各変数を(値−平均)÷標準偏差で標準化してそろえてから測ります。
関連キーワード: k近傍法・標準化・ユークリッド距離・尺度
模試 (100問)
この問題が解けたら、本試験はどうですか?本番形式で、ほかの科目もまとめて確かめる
本番形式の模擬試験で実力チェックPremium (月980円)Premium (ご利用中)本番と同じ制限時間