G検定（ジェネラリスト検定） 機械学習の概要 練習問題 第32問: Q学習で、状態 s で行動 a をとったところ報酬 1 を受け取り、状態 s′ に移った。更新前の推定は Q(s, a) = 2 である。s′ での行動価値の推
Q学習で、状態 s で行動 a をとったところ報酬 1 を受け取り、状態 s′ に移った。更新前の推定は Q(s, a) = 2 である。s′ での行動価値の推定は行動 a1 が 4、行動 a2 が 2 で、ε-greedy 方策により s′ で次に実際に選ばれた行動は a2 だった。学習率 α = 0.5、割引率 γ = 0.9 のとき、この1回の更新後の Q(s, a) として、最も適切なものはどれか。
解答と解説を先に見る
正解: 2. 3.3
肢2が正解です。Sutton と Barto の Reinforcement Learning: An Introduction（第2版）6.5節の Q学習の更新式は Q(S, A) ← Q(S, A) + α[R + γ max_a Q(S′, a) − Q(S, A)] です。s′ での最大値は a1 の 4 なので、代入すると 2 + 0.5 × (1 + 0.9 × 4 − 2) = 2 + 0.5 × 2.6、結果は 3.3 です。肢1の 2.4 は、次に実際に選ばれた a2 の値 2 を使う SARSA（同書6.4節）の式の値（2 + 0.5 × (1 + 0.9 × 2 − 2)）です。肢4の 3.5 は割引率の掛け忘れ（2 + 0.5 × (1 + 4 − 2)）、肢3の 4.6 は学習率の掛け忘れ（2 + 2.6）です。次にとる行動と関係なく最大値を使う点が決め手です。
関連キーワード: Q学習・SARSA・行動価値関数・割引率
模試 (145問)
本試験の規模にそろえて、8分野を通して解く
オンライン試験の案内（145問程度・100分）にそろえた145問・100分（1つあたり約41秒）で、技術分野から法律・倫理まで8分野を混ぜて解きます。JDLAは分野ごとの出題数と合格ラインを公表していないため、配分と70%の目安はぴよパスの設定です。100分を取れない日は、開始画面で41分の短縮演習も選べます。Premium (月980円)Premium (ご利用中)時間制限つきの実力チェック