G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第42問: 連続値制御のための深層強化学習の手法DDPG（Lillicrap ほか, arXiv 2015年）の説明として、最も適切なものはどれか。

肢4が正解です。DDPGの論文（Lillicrap ほか）は、Deep Q-Learningの成功を支えた考え方を連続の行動の領域に持ち込み、決定的な方策勾配にもとづくActor-Critic型でモデルフリーのアルゴリズムを示しました。

DQNと同じく再生バッファから経験を取り出して学習し、ターゲットネットワークに似た仕組みも使っています。

肢1は誤りで、論文は行動空間を離散化すると、関節の数に応じて行動の数が爆発的に増えるなどの限界があると指摘しています。

肢2は誤りで、動力学とその微分にすべてアクセスできる計画の手法は、論文が性能を比べた相手です。

肢3も誤りで、論文は多くの課題で画素から直接、エンドツーエンドで方策を学習できたと報告しています。