データサイエンティスト検定 リテラシーレベル データサイエンス(機械学習・AI・非構造化データ) 練習問題 第57問: 1,000件の文書からなる文書の集まりで、TF-IDFを使って語の重みを求める。語tの文書dでのtfは、dの中でのtの出現回数とし、idfは log₁₀(全文書
データサイエンス(機械学習・AI・非構造化データ)
– / 63 解いた
第57問
1,000件の文書からなる文書の集まりで、TF-IDFを使って語の重みを求める。語tの文書dでのtfは、dの中でのtの出現回数とし、idfは log₁₀(全文書数 ÷ tを含む文書数)とする。語Aは1,000件すべての文書に現れ、語Bは10件の文書にだけ現れる。ある文書dの中にAとBがどちらも3回ずつ現れるとき、文書dでのAとBのtf-idf(tf × idf)の組合せとして、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 1. A:0、B:6
Aは0、Bは6です。scikit-learn 1.7のドキュメント(Feature extraction)は、tf-idfを語の出現回数(tf)と逆文書頻度(idf)の積とし、多くの文書に現れる語は文書の内容についての手がかりが少ないので重みを下げると説明しています。
問題文の式では、Aのidf=log₁₀(1,000÷1,000)=log₁₀1=0、Bのidf=log₁₀(1,000÷10)=log₁₀100=2です。tf-idfはA=3×0=0、B=3×2=6になります。
「A:3、B:300」は、対数を取らずに1,000÷1,000=1と1,000÷10=100をidfとした値です。「A:3、B:5」は、tfとidfを掛けずに足した値(3+0、3+2)です。
「A:6、B:0」は、多くの文書に現れる語ほど重要と取り違え、AとBの値を入れ替えたものです。すべての文書に現れる語のidfは0になる点を押さえましょう。
関連キーワード: TF-IDF・逆文書頻度・対数・自然言語処理
模試 (100問)
この問題が解けたら、本試験はどうですか?本番形式で、ほかの科目もまとめて確かめる
本番形式の模擬試験で実力チェックPremium (月980円)Premium (ご利用中)本番と同じ制限時間
広告