G検定（ジェネラリスト検定） 機械学習の概要 練習問題 第16問: 多腕バンディット問題と、そこで使われる行動選択の方策に関する説明として、最も不適切なものはどれか。

肢3が不適切です。Sutton と Barto の Reinforcement Learning: An Introduction（第2版）第2章では、ε-greedy 方策は、ほとんどの場合は推定値が最大の行動（貪欲な行動）を選び、小さな確率 ε で推定値に関係なく全行動から等確率に選ぶ方法です。

肢3は ε と 1−ε を逆にしています。

肢1は正しく、k 本のレバーを持つスロットマシンにたとえられる問題です。

肢2も正しく、活用と探索を1回の選択で両立できないことが、両者の「対立」と呼ばれます。

肢4も正しく、UCB 方策は推定値に ln t と選択回数 N_t(a) から作る不確かさの項を加え、あまり選ばれていない行動ほど試されやすくします。ε は「探索する確率」と押さえると取り違えません。