G検定（ジェネラリスト検定） 機械学習の概要 練習問題 第17問: Q学習とSARSAの違いの説明として、最も適切なものはどれか。

肢1が正解です。Sutton と Barto の Reinforcement Learning: An Introduction（第2版）第6章によると、SARSA は Q(S_t, A_t) を R_(t+1) + γQ(S_(t+1), A_(t+1)) に近づけるように更新し、実際に次にとる行動 A_(t+1) を使う方策オン型の手法です（名前は S、A、R、S、A の5つ組に由来します）。

Q学習は R_(t+1) + γ max_a Q(S_(t+1), a) を使い、実際にとる行動とは関係なく最適な行動価値を直接近似する方策オフ型です。

肢2は両者を逆にしています。

肢3はモンテカルロ法の説明で、どちらも1ステップごとに更新する TD 学習の手法です。

肢4も誤りで、どちらも状態と行動の組の価値 Q を学習します。