G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第15問: DQNを提案した論文（Mnih ほか「Playing Atari with Deep Reinforcement Learning」arXiv版, 2013年）

肢1が正解です。この論文（Mnih ほか）は、生の画素を入力とし、将来の報酬を見積もる価値関数を出力する畳み込みニューラルネットワークを、Q学習の変形で学習しました。

学習では、エージェントの経験を蓄えておき、そこから無作為に取り出したミニバッチで更新する経験再生（experience replay）を使っています。

肢2は誤りで、手作りの特徴量や行動価値の表ではなく、画素から直接学ぶ点がこの論文の特徴です。

肢3は誤りで、環境のモデルを使わないモデルフリーの手法です。

肢4は誤りで、正解ラベルではなく報酬から学ぶ強化学習です。なお、ターゲットネットワークは2015年のNature版のDQNで使われた工夫で、この2013年のarXiv版には含まれません。