G検定（ジェネラリスト検定） 機械学習の概要 練習問題 第47問: あるエピソードで、エージェントは時刻0・1・2の行動の直後に、それぞれ報酬 R_1＝10、R_2＝5、R_3＝25 を受け取り、その後エピソードは終わった（それ

「30」が適切です。設問の式は、Sutton と Barto の『Reinforcement Learning: An Introduction』第2版の3.3節が定める収益（式3.8）と同じで、直後の報酬は割り引かず、1ステップ先ごとに γ を1回ずつ多く掛けます。

代入すると G_0＝10＋0.8×5＋0.64×25＝10＋4＋16＝30 です。「40」は割り引かずに足した値です。

「24」は直後の報酬 R_1 にも γ を掛けた 0.8×10＋0.64×5＋0.512×25 の値です。「35.4」は掛ける回数を逆にし、後ろの報酬ほど割り引きを弱めた 0.64×10＋0.8×5＋25 の値です。

後ろから G_t＝R_(t+1)＋γG_(t+1) で G_2＝25、G_1＝5＋0.8×25＝25、G_0＝10＋0.8×25＝30 と求めても同じです。