G検定（ジェネラリスト検定） 人工知能とその動向 練習問題 第27問: SuttonとBartoの『Reinforcement Learning: An Introduction』（第2版）の8.11節が説明するモンテカルロ木探索（

肢3が不適切です。同書の8.11節によると、バックアップでは、シミュレーションで得た収益を使って、その反復で木の方策がたどった辺の行動価値を更新（または初期化）し、木の外でロールアウト方策が訪れた状態と行動については値を保存しません。

木を広げるのは展開の段階で、選んだ葉の節点から、まだ試していない行動で到達する子の節点を加えます。肢1について、同節は木の中では木の方策で探索と活用を釣り合わせるとし、例としてε-greedyやUCBの選択規則を挙げています。

肢2のとおり、木の外ではロールアウト方策で1エピソード（対局なら終局まで）を模擬します。

肢4も同節のとおりで、最大の行動価値や最大の訪問回数の行動を選ぶ例が示されています。有望な枝に試行を集めながら木を育てる点がMCTSの特徴です。