G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第45問: マルチエージェント強化学習を用いたゲームのAIに関するAからDまでの記述のうち、適切なものをすべて挙げた組合せはどれか。 A AlphaStar（StarCra
マルチエージェント強化学習を用いたゲームのAIに関するAからDまでの記述のうち、適切なものをすべて挙げた組合せはどれか。 A AlphaStar（StarCraft II）は、まず人の対戦の記録から教師あり学習で基本の戦い方をまねて学び、その後、エージェントどうしが対戦し合うリーグの中で強化学習により強くなった。 B OpenAI Five（Dota 2）は、長い時間の見通し・不完全情報・複雑で連続的な状態と行動の空間という課題に対し、大規模な自己対戦の強化学習で学習した。 C AlphaStarのリーグでは、新しい対戦相手が加わるたびに以前の対戦相手を取り除き、過去の戦略に勝つ力は保たなくてよいとされた。 D StarCraft IIは、囲碁やチェスと同じく相手の状況を含む盤面の情報が両者に見え、手番を交互に指す完全情報のゲームである。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 1. A、B
Aは適切です。DeepMindの解説（2019年1月）によると、AlphaStarのニューラルネットワークは、まず人の対戦の記録から教師あり学習でまねて学び、その後、エージェントどうしが対戦し続けるリーグによるマルチエージェント強化学習で鍛えられました。
Bも適切で、OpenAI Fiveの論文（Berner ほか, 2019年）は、Dota 2の長い時間の見通し・不完全情報・複雑で連続的な状態と行動の空間を課題として挙げ、既存の強化学習の手法を大規模にして自己対戦で学習し、人を超える性能に達したと報告しています。Cは誤りで、リーグでは元の対戦相手を凍結して残し、以前の戦略に勝つ方法を忘れないようにしています。
Dは誤りで、StarCraft IIは重要な情報が隠れた不完全情報のゲームで、実時間で行動し続けます。したがって適切なものはA、Bで、正解は1です。
関連キーワード: マルチエージェント強化学習・AlphaStar・OpenAI Five・自己対戦
模試 (145問)
本試験の規模にそろえて、8分野を通して解く
オンライン試験の案内（145問程度・100分）にそろえた145問・100分（1つあたり約41秒）で、技術分野から法律・倫理まで8分野を混ぜて解きます。JDLAは分野ごとの出題数と合格ラインを公表していないため、配分と70%の目安はぴよパスの設定です。100分を取れない日は、開始画面で41分の短縮演習も選べます。Premium (月980円)Premium (ご利用中)時間制限つきの実力チェック