G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第15問: DQNを提案した論文（Mnih ほか「Playing Atari with Deep Reinforcement Learning」arXiv版, 2013年）

正解: 1. ゲーム画面の画素を入力とする畳み込みニューラルネットワークで行動価値を近似し、経験を蓄えて無作為に取り出す経験再生を用いた。

肢1が正解です。この論文（Mnih ほか）は、生の画素を入力とし、将来の報酬を見積もる価値関数を出力する畳み込みニューラルネットワークを、Q学習の変形で学習しました。学習では、エージェントの経験を蓄えておき、そこから無作為に取り出したミニバッチで更新する経験再生（experience replay）を使っています。肢2は誤りで、手作りの特徴量や行動価値の表ではなく、画素から直接学ぶ点がこの論文の特徴です。肢3は誤りで、環境のモデルを使わないモデルフリーの手法です。肢4は誤りで、正解ラベルではなく報酬から学ぶ強化学習です。なお、ターゲットネットワークは2015年のNature版のDQNで使われた工夫で、この2013年のarXiv版には含まれません。

関連キーワード: DQN・経験再生・Q学習・深層強化学習