G検定（ジェネラリスト検定） 機械学習の概要 練習問題 第48問: 方策勾配法のREINFORCEで、エピソードで得た収益からベースラインを引いた値を使って方策のパラメータを更新する手法（ベースライン付きREINFORCE）に関

「更新の期待値を変えずに分散を小さくしうる」とする記述が適切です。Sutton と Barto の『Reinforcement Learning: An Introduction』第2版の13.4節は、ベースラインは行動によって変わらなければどんな関数でもよく、更新の期待値は変えずに分散に大きく効くとし、自然な選び方として状態価値の推定を挙げています。

「選んだ行動ごとに異なる値をとる関数にする」は条件が逆で、行動によって変わる値を引くと期待値がずれるおそれがあります。「期待値は変わるが…ばらつきが小さくなり」は、期待値が変わらない点を取り違えています。

「0に固定して使う」は誤りで、0の場合はもとのREINFORCEに当たり、同節は状態によって値を変えるベースラインを勧めています。行動には依存させず、状態には依存させてよいという区別を押さえましょう。