G検定（ジェネラリスト検定） 機械学習の概要 練習問題 第34問: 強化学習の枠組みであるマルコフ決定過程で仮定される、マルコフ性の説明として、最も適切なものはどれか。

正解: 2. 次の状態と報酬が生じる確率が直前の状態と行動によって決まり、それより前の履歴には左右されない性質

肢2が正解です。Sutton と Barto の Reinforcement Learning: An Introduction（第2版）3.1節は、マルコフ決定過程では各時刻の状態と報酬の値の確率が直前の状態と行動に依存し、それらが与えられればそれより前の状態と行動には依存しないと述べ、状態がこの条件を満たすことをマルコフ性と呼んでいます。そのため状態には、将来に影響する過去の情報が含まれている必要があります。 肢4は逆で、マルコフ性があれば、これまでの履歴を持たなくても現在の状態から先を考えられます。 肢3は誤りで、同書は遷移を確率 p(s′, r | s, a) で表し、確率的に変わる環境を扱います。 肢1は報酬の決まり方についての説明で、マルコフ性とは関係がありません。

関連キーワード: マルコフ性・マルコフ決定過程・強化学習