G検定（ジェネラリスト検定） 機械学習の概要 練習問題 第33問: 次の文の（ A ）（ B ）に入る語句の組合せとして、最も適切なものはどれか。 方策 π に従って行動するとき、状態 s から始めて得られる収益の期待値を（ A

正解: 3. A：状態価値関数　B：行動価値関数

肢3が正解です。Sutton と Barto の Reinforcement Learning: An Introduction（第2版）3.5節は、方策 π のもとで状態 s から始めたときの期待収益 vπ(s) を状態価値関数、状態 s で行動 a をとってその後 π に従うときの期待収益 qπ(s, a) を行動価値関数と定義しています。行動 a は確率 π(a|s) で選ばれるので vπ(s) = Σ_a π(a|s) qπ(s, a) が成り立ちます。 肢1は A と B を逆にしています。肢2の収益（同書3.3節の G_t、割引した報酬の和）は1回ごとに実際に得られる値で、その期待値が価値関数です。肢4の遷移確率 p(s′|s, a) は環境の性質を表す確率で、収益の期待値ではありません。「状態だけ」の価値か「状態と行動の組」の価値かで区別しましょう。

関連キーワード: 状態価値関数・行動価値関数・方策・強化学習