AlphaStar横空出世 星际争霸2人类1：10输给AI

　　AlphaStar横空出世 星际争霸2人类1：10输给AI

　　刚刚，我们见证了 AI 与人类 PK 的又一次重大进展！DeepMind 北京时间 1 月 25 日凌晨 2:00 起公布了其录制的 AI 在《星际争霸 2》中与2位职业选手的比赛过程：AlphaStar 5:0 战胜职业选手TLO ，5：0战胜 2018 年 WSC 奥斯汀站亚军 MaNa 。与两位人类对手的比赛相隔约两周，AI 自学成才，经历了从与TLO 对战时的菜鸟级别，进化到完美操作的过程，尤其是与MaNa 的对战，已经初步显示了可以超越人类极限的能力。

　　这次的演示也是 DeepMind 的星际争霸 2 AI AlphaStar 的首次公开亮相。除了此前比赛录像的展示外，AlphaStar 还和MaNa 现场来了一局，不过，这局AlphaStar 输给了人类选手MaNa 。

　　我们不难看出，尽管其神经网络已经趋于长期优化，但似乎仍然会在一定程度上陷入局部最优，被人类发现固定模式，落入圈套，而且从 5 个小叮当抱团，到纯追猎部队，都显示出它对游戏兵种的理解尚不到位，如果最后一局它可以像人类一样直接派出凤凰防守棱镜，或许它将继续凭借超强的微操一波推平 MaNa。

　　比赛回放过程中，主持人问到 DeepMind 科学家，平时如何训练 AlphaStar，DeepMind 科学家 Oriol Vinyals、David Silver 表示，首先是模仿学习，团队从许多选手那里获得了很多比赛回放资料，并试图让 AI 通过观察一个人所处的环境，尽可能地模仿某个特定的动作，从而理解星际争霸的基本知识。这其中所使用到的训练资料不但包括专业选手，也包括业余选手。这是 AlphaStar 成型的第一步。

　　之后，团队会使用一个称为“Alpha League”的方法。在这个方法中，Alpha League 的第一个竞争对手就是从人类数据中训练出来的神经网络，然后进行一次又一次的迭代，产生新的 agent 和分支，用以壮大“Alpha League”。

　　

　　图 | Alpha League 示意图

　　然后，这些 agent 通过强化学习过程与“Alpha League”中的其他竞争对手进行比赛，以便尽可能有效地击败所有这些不同的策略，此外，还可以通过调整它们的个人学习目标来鼓励竞争对手朝着特定方式演进，比如说旨在获得特定的奖励。

　　最后，团队在“Alpha League”中选择了最不容易被利用的 agent，称之为“the nash of League”，这就是 TLO 所对战的5个。

　　近几年，除了 DeepMind 以外，已经有越来越多的人工智能公司或者研究机构投身到开发游戏类AI的浪潮中，例如 OpenAI 和腾讯的 AI lab 等等。

　　归根结底，这些团队对游戏AI的热情，恐怕都源于打造通用型人工智能的这一终极目标：游戏AI的研发将会进一步拓宽人类对于AI能力的认知，这样的研究最终将探索的问题 AI 能否能够通过游戏规则进行自主学习，达到更高层次的智能乃至通用型人工智能。例如，在游戏AI的设计中，增强学习算法的改进将至关重要。增强学习是一种能够提高 AI 能力的核心算法，它让 AI 能够解决具有不确定性动态的决策问题（比如游戏 AI，智能投资，自动驾驶，个性化医疗），这些问题往往也更加复杂。

　　而 DeepMind 团队的成果已经为此带来了一丝曙光——AlphaGo Zero在短时间内精通围棋、象棋、国际象棋三种棋类游戏，已有棋类通用AI雏形。棋类游戏之后，最值得期待的进展，就是各家开发的AI在即时战略类 RTS 游戏或多人在线竞技类 MOBA 游戏上的表现了。此前，腾讯 AI Lab 负责人之一姚星就介绍过，在游戏AI的研究上，腾讯 AI Lab 已从围棋 AI “绝艺”等单个 AI 的完全信息博弈类游戏，转移到规则不明确、任务多样化、情况复杂的游戏类型，如星际争霸和 Dota2 等复杂的即时战略类 RTS 游戏或多人在线竞技类 MOBA 游戏。

　　在刚刚过去的2018年，OpenAI 开发出的 AI OpenAI Five 就是针对 Dota2 开发的AI，但是它与人类 PK 的过程可谓充满戏剧性。2018 年 8 月初，OpenAI Five 战胜一支人类玩家高水平业余队伍（天梯 4000 分左右），然而，到了 8 月底 OpenAI Five 被两支专业队伍打败， AI 提前结束了其在本届 DOTA 2 国际顶尖赛事 TI 8 的旅程。回顾那次失败的过程，其实OpenAI 的系统仍然无法全面理解 DOTA 复杂的游戏系统和规则。

　　现在，DeepMind 的星际争霸2 AI 已经以其超强实力打响游戏 AI 2019 年第一战，接下来还有哪些游戏AI将横空出世呢？各大游戏AI又将如何迈向通用人工智能，让我们拭目以待。