G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第44問: 深層強化学習のエージェントAgent57（Badia ほか, arXiv 2020年）の説明として、最も適切なものはどれか。

肢2が正解です。Agent57の論文（Badia ほか）は、Agent57を、Atariの57のゲームすべてで人間の標準的な基準を上回った最初の深層強化学習エージェントとして提案しました。

論文によると、それまでの手法は多くのゲームで非常に良い成績を出して平均を上げる一方、最も難しいいくつかのゲームでは成績が低いという課題がありました。

肢1は誤りで、Agent57は難しいゲームも除かずに57のゲームすべてで評価しています。従来の手法も難しいゲームを除いたのではなく、そこで成績が低かった点が課題でした。

肢3は誤りで、Agent57は、とても探索的なものから純粋に活用的なものまでの方策の族を1つのネットワークで表し、学習の途中でどの方策を優先するかを適応的に選ぶ仕組み（メタコントローラ）を持ちます。

肢4は誤りで、Agent57は多数のアクターが環境とやり取りして集めた経験から学びます。