G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第16問: 深層強化学習の手法に関するAからDまでの記述のうち、適切なものをすべて挙げた組合せはどれか。 A　ダブルDQNは、行動の選択と行動価値の評価を分けることで、Q学

正解: 4. A、B、D

Aは適切です。ダブルDQNの論文（van Hasselt ほか）は、DQNでも行動価値の過大評価が起きることを示し、行動の選択と評価を分けるDouble Q学習の考え方を取り入れて過大評価を減らしました。Bも適切で、デュエリングネットワーク（Wang ほか）は状態価値関数と行動のアドバンテージ関数の2つの推定器を持ちます。Dも適切で、Ape-X（Horgan ほか）は行動と学習を分け、多数のアクターの経験を共有の再生メモリにため、優先度付き経験再生で学習します。Cは誤りで、ノイジーネットワーク（Fortunato ほか）は重みに学習可能なノイズを加え、方策のゆらぎで探索を効率よく行う手法です。A〜Cの3手法を含むDQNへの6つの拡張を組み合わせたのがRainbow（Hessel ほか）で、Ape-Xは含まれません。したがって適切なものはA、B、Dで、正解は4です。

関連キーワード: ダブルDQN・デュエリングネットワーク・ノイジーネットワーク・Ape-X・Rainbow