G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第8問: 文章や単語を数値で表す方法に関する説明として、最も適切なものはどれか。

正解: 2. TF-IDFは、ある文書の中で多く現れ、かつ出現する文書の数が少ない単語ほど大きな重みを付ける。

肢2が正解です。情報検索の教科書（Manning ほか『Introduction to Information Retrieval』6.2節）は、tf-idfの重みが、ある語が少数の文書の中で何度も現れるときに最も大きく、ほぼすべての文書に現れる語では最も小さくなると説明しています。肢1は誤りで、ワンホットベクトルは語彙の数と同じ次元を持ち、その単語の位置が1で残りが0のベクトルです（Jurafsky・Martin『Speech and Language Processing』）。意味の近さは表しません。肢3は誤りで、BoWは語順を捨てて出現回数を残すため、語順が違うだけの文は同じ表現になります。肢4は誤りで、n-gramは連続するn個の単語の並びです。

関連キーワード: ワンホットベクトル・BoW・TF-IDF・n-gram