DeepMind用强化学习训练AI玩家，在复杂多人连线3D游戏中的夺旗竞赛场景，AI玩家的表现已达人类水准
这个研究的目标是多代理人学习，也就是每个个别的代理人都必须独立行动，并学会与其他代理人互动和合作，DeepMind指出，地球上有数十亿的人居住，每个人都有自己的目标和活动，但是仍然可以透过团体组织和社会聚集在一起，展现出集体智慧，这就是DeepMind期望AI玩家能学会的能力，不过，这也是一个非常困难的任务，因为环境一直在改变。
为了研究这道难题，DeepMind利用3D第一视角的多人连线游戏，来训练AI模型，这些游戏能够代表最受欢迎的游戏种类，并且也因为沉浸式的游戏方式，可以收集到数百万游戏玩家的想像，也能使AI学习到策略、技巧、手眼协调和团队合作，对AI玩家来说，挑战是要直接从原始的像素资料直接学习，并产生动作，这样的复杂度也使得第一视角的多人连线游戏，成为丰富的AI训练资源。
首先，DeepMind训练AI玩家学习像其他玩家一样行动，而且要学会与同队的玩家合作，不管是AI或是人类玩家，夺旗竞赛的规则很简单，但是动态的变化却很复杂，两个队伍各自的玩家要在给定的地图上，抢夺对方队伍的旗帜带回自己的基地，同时又要保护自己队伍的旗帜，若点击持有自己队伍旗帜的敌对玩家，就能将旗帜送回原本的基地，在5分钟内拥有最多旗帜的队伍即获胜。
从游戏AI玩家的角度来看，夺旗竞赛需要玩家与团队合作一起对抗敌人，为了让研究变得更有趣，DeepMind为夺旗竞赛增添了一些变数，每个竞赛中的地图配置都不相同，如此一来，AI玩家就被迫要找出通用的策略，而不是靠着记忆地图来完成任务，除此之外，为了确保竞争环境公平，AI玩家和人类玩家是用类似的方式玩夺旗游戏，AI玩家观察像素图像的串流资料，并透过模拟游戏控制器来产生执行动作。
DeepMind所用的强化学习有3大概念，第一，DeepMind训练了一群AI玩家，而不是只有一个，因此，AI之间可以互相学习，提供多元的队友或是敌人，第二，每个AI玩家都会学习自己的内部奖励讯号，使得AI产生自己的内部目标，像是抢夺旗帜，第三，AI玩家执行游戏的时间区段的分为快和慢两种，来改善AI使用记忆体和产生一致行动序列的能力。
获取最新Flink、AI资讯，可关注同名公众号