G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第10問: 単語の埋め込み表現に関する説明として、最も不適切なものはどれか。

正解: 1. ELMoは、単語ごとに1つの固定したベクトルを割り当てるので、文脈が違っても同じ単語は同じベクトルで表される。

肢1が不適切です。ELMoの論文（Peters ほか）は、大規模なテキストで事前学習した深い双方向言語モデル（biLM）の内部状態から単語の表現を作り、同じ単語でも文脈によって使われ方が変わること（多義性）を表せるとしています。単語ごとに1つの固定したベクトルを割り当てるのはword2vecのような静的な埋め込みで、肢4はその性質の説明として適切です（Jurafsky・Martin『Speech and Language Processing』の埋め込みの章）。肢3はELMoの説明どおりです。肢2はfastTextの論文（Bojanowski ほか）のとおりで、単語を文字n-gramの集まりとして表し、そのベクトルの和で単語を表すため、学習データに無かった単語にも表現を作れます。

関連キーワード: ELMo・fastText・分散表現・文脈に依存した表現