用深度学习提高CSGO用户游戏体验的尝试

电子说

1.2w人已加入

描述

事实上这是几个月前的一个PPT演讲。在GDC 2018上,Valve游戏工程师John McDonald介绍了度假社用深度学习提高CSGO用户游戏体验的尝试。之所以说是“提高用户体验”而不是“鉴别开挂行为”,是因为V社这次不仅把AI技术用在了反作弊机制上,还对普通玩家心理进行了透彻研究。

深度学习

2018年1月Steam游戏人数排行前三名

CSGO中的挂

CSGO(中文名《反恐精英:全球攻势》)是V社于2012年推出的一款第一人称射击团队竞技游戏,它是CS系列的第四部作品,6年来一直深受国内外玩家的欢迎。作为一款FPS游戏,玩家恶意开挂几乎是不可能避免的,相比上图中排名第一的PUBG,其实CSGO里的挂并没有多到人神共愤的程度。

但有挂玩家就会生气,一生气他们就会抱怨,会用脚投票。

根据John McDonald透露的数据,现在CSGO的月活人数有1240万,平均日活约300万,组队时间平均1-2秒。对于一个已经推出6年的游戏,保持这样的数据并稳居Steam榜单前三是不容易的,它离不开开发团队为玩家打造的游戏环境。

可就在2016年,V社收到了铺天盖地的玩家投诉,许多人用发邮件、reddit发帖等方式告状:你们的游戏有很多挂。面对玩家的怒火和无法迅速排查开挂行为的棘手情况,V社有点懵。

CSGO是V社自己开发的游戏,它自带官方VAC系统,能对开挂者实施高效封禁——但火爆的游戏背后总伴随经济利益,许多人针对VAC开发了不少能绕过监控的挂,或是看准V社喜欢秋后算账的风格找漏洞,既夺走了心存侥幸的玩家的账号,也毁掉了正常比赛的玩家的游戏体验。

时至今日,许多人在调侃CSGO“已凉”时都不忘把“挂太多”拉出来重点批评一下。所谓爱之深、责之切。他们对游戏的热爱是真实的,但他们对外挂的憎恶也是深入骨髓的。而令人无奈的一个现实是,制作一个CSGO外挂的成本非常低,如果某人还保留着当初《半条命2》的外挂,他就会发现这个挂居然也可能继续在CSGO里生效。

CSGO和深度学习

2015年,CSGO的Overwatch正式上线(别想歪!我真的没笑),这是一个监督功能,允许获得裁决资质的选手可以通过观看疑似作弊选手的Demo来判断其是否作弊或者调整了游戏参数。如果玩家发现存在开挂行为,他们可以把Demo提交给协调员进一步审核,之后官方会跟进处理并反馈结果。

Overwatch本身可以初步判断玩家有没有开挂,它背后的算法是朴素贝叶斯,系统先为开挂找到一个阈值,然后对结果进行分类。但实践证明,这个基于朴素贝叶斯的系统太宽容了,它只能辨别出非常明显的开挂行为,然后把大多数微妙的Demo——漏网之鱼反馈给真人。

对于玩家而言,也许Overwatch颇为鸡肋,但在深度学习眼里,这就成了不可多得的数据来源。

模型简介

V社开发的反作弊深度学习系统叫VACnet。因为面向序列处理任务,它被设计成一个时间步长为140的GRU RNN,包含一个输入层(256个神经元)和4个隐藏层(每层256个神经元)。网络使用的激活函数是ReLU,损失函数是二元交叉熵,优化算法是Adagrad。

VACnet在Overwatch搜集的数据中训练,其中包含玩家提供的内容和官方收集的内容,是个大型优质数据集。虽然现在也有用深度学习生成数据的方法,但这种做法容易让神经网络钻空子,所以开发人员用的还是真实的游戏Demo。

模型的输入不是常规的长向量,这里他们把140次射击当做一个序列,按顺序记下每个视频帧的所有信息。这些输入被称为(X,y),其中X就是我们常说的特征,它包括用了什么武器、射击后的结果、(如果击中)目标距离有多远、瞄准角度调整用时等。训练到最后,模型需要能拟合X数据并反复验证学习质量,直到输出最佳结果。

推断和硬件

完成训练后,模型就要被用于推断(馈送)。

John McDonald把这一过程类比成制作牛肉汉堡。当开发人员面对Overwatch时,他们手中没有现成的牛肉肉泥,而是一头不断吃草长胖的牛。为了让数据能为深度学习模型所用,开发人员花了95%的时间和精力把牛切成牛肉——数据,然后把剩下的1%用于把牛肉搅碎——深度学习,4%用于制作汉堡——训练模型。

据介绍,V社平均每天收集60万场5v5比赛,每场比赛耗时4分钟,一共是240万分钟CPU耗时(一天)。然而一天只有1440分钟,这也就是说,为了达成目标,他们至少要购买1700块GPU。这时,玩家们献给G胖的供奉就开始发挥作用了——他们一共买了3456块CPU。下图是处理器的冰山一角,它包含64个刀片式服务器,每个刀片有54个CPU核心、128GB RAM,仅用于模型推断。

按照之前V社制定的反作弊逻辑:玩家举报——协调员筛选——玩家裁定——开挂/没开挂,现在他们有了VACnet,举报环节就又增加了一个“VACnet举报”。据了解,在所有举报中,玩家举报的开挂证实率为15-30%,而且种类非常丰富;而VACnet的开挂证实率高达85%-90%,但种类相对单一。

效果评价

正如之前所述的,VACnet的效果是令人满意的,尽管缺乏灵活性和通用性,但它至少找出了大部分开挂者的“罪证”。如下图所示,刚被加入游戏反作弊机制中时,它就小幅提高了系统检测开挂数的数量,加入更多训练数据后,它在2018年前后又形成了一个剧增的峰值。而且就实际应用来看,从VACnet提出至今,它还没有误判过一起作弊事件,当然最后的真人检测也在其中发挥了重要作用。

深度学习

从用户反馈来看,这个深度学习尝试也取得了史无前例的成功。自从引入Overwatch和VACnet以来,在reddit上抱怨开挂的CSGO玩家数大幅降低,仅为2016年高峰期的1%。这种情况将有利于老玩家的存续和新玩家的进驻,也是V社所喜闻乐见的。

但VACnet真的很完美吗?其实不尽然。除了之前提到了它似乎只能识别某几种开挂行为,它还有一个更严峻的缺点。训练时,当完成“举报——协调员筛选——玩家裁定——开挂/没开挂”这一流程后,为了保证模型的学习效果,经真人裁定的数据会被再次馈送进模型进行学习。

这就引出一个问题,如果有人开发了一个挂,它能在前几枪自描、锁头,后几枪回归正常,那系统该怎么判断?如果是个真人裁判,他肯定会想:emm,这货有问题,肯定开挂了。但机器不知道这样的判断依据,它只能把它标成开挂,然后同时从开挂的时间段和没开挂的时间段内去强行学习开挂依据。这会导致模型性能变差。

针对这个问题,目前V社找到的补救方法是添加一个自动的重新训练功能,它能修补启发式算法带来的漏洞。二是建立一个全新的没有经验的模型,由它来拓展开挂行为检测范围,增加系统能识别的开挂种类。第三则是把VACnet应用到其他steam游戏上,追求泛化通用化。

小结

John McDonald认为,深度学习是一种新兴涌现的技术,它将改革传统的反作弊方式。V社现在已经把深度学习用于反开挂、反作弊和Dota2英雄选择等,而其中最受关注的就是Dota2的“大老师”。

就目前而言,玩家无需担心有人用深度学习技术开发对抗VACnet的工具,因为V社手里掌握着其他人难以想象的游戏数据,对于深度学习来说,数据越多,模型性能越好,这是毫无疑问的。唯一需要担心的一点是,这个用于训练的数据集是从比赛里收集的,有人可能会恶意污染数据。虽然似乎人们可以一眼分辨出这个人有没有开挂,但如果外挂能做到欺骗玩家,那它也能骗过VACnet,并干扰它的训练和学习。

综合整个演讲,我们可以下这么一个结论:VACnet是有效的,但它的反作弊能力并没有我们想象中的那么突出,它还是不能做到完全杜绝外挂。如果一个反作弊系统连玩家有没有作弊都分辨不出来,那它的开发者其实并没有消灭外挂的决心,而只是关心玩家的游戏体验。

事实上这也正是VACnet成功的地方,它立竿见影地减少了投诉帖子数量,稳定住了玩家的心,让CSGO稳居玩家活跃榜的前三位。当玩家们再次谈及游戏里的开挂行为时,他们也会乐于讨论V社在反作弊上的努力,并褒扬深度学习的实际效果。

对于一个普通玩家来说,这样的结果是喜是忧呢?

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分