G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第56問: ある言語モデルに、4語からなるテスト用の系列w1w2w3w4を与えたところ、各語の条件付き確率は、P(w1)＝1/4、P(w2|w1)＝1/2、P(w3|w1w

「4」が適切です。Jurafsky・Martin『Speech and Language Processing』（第3版草稿）は、テスト系列のパープレキシティを、系列の確率の逆数を語数Nで正規化した値、すなわちP(w1…wN)の−1/N乗と定めています。

系列の確率は連鎖律で1/4×1/2×1/8×1/4＝1/256なので、パープレキシティは256の4乗根で4です。「0.25」は確率の積の4乗根をとり、逆数にし忘れた値です。

「256」は逆数をとったものの、4乗根をとり忘れた値です。「4.5」は各語の確率の逆数4、2、8、4の算術平均で、正しくは幾何平均をとります。

パープレキシティは低いほど、そのモデルがテストの系列をよく予測していることを表し、系列の確率を最大にすることと同じ意味になります。