2018年底,在第五届世界互联网大会上,“克隆”于真人主播邱浩的全球首个AI合成男主播“首秀”,由新华社联合搜狗发布,很快在全球范围内引起热议。
陈伟,搜狗语音交互技术中心高级总监,同时也是新华社AI主播项目的负责人。他表示,从去年11月到现在,新华社工作的两位AI主播已经播报了几千余条新闻,没有出现过失误。
今年2月19日,男主播升级成为站立式AI合成主播“新小浩”,站立式“新小浩”不仅能坐着播报新闻,还能站起来,带着手势、姿态等多种肢体动作,更接近于真人。与此同时,双方还推出了首个AI合成女主播“新小萌”。
在新华社,基于两位真实主播的声音、表情等真实数据生成模型,工作人员仅需要输入新闻稿,就可以让AI形象自动根据文字播报。并且,无需进行二次视频编辑,AI主播将自动识别语义并配上对应音调及表情。
“我们提供的系统,新华社只要每天在想要播报的新闻,过几秒钟生成一个完整的视频,中文、英文不同类型的新闻视频就可以马上出来。”陈伟表示。我们看到,AI主播的能力在不断进化,2月发布的“新小浩”开始加入肢体动作,让主播的表达方式更加多元化。
AI合成主播来自于搜狗AI分身项目的落地,基于多种模态识别融合的技术,包括语音、手写、唇语等维度的识别和模拟,仅需数个小时的视频资料就可以合成一个比较逼真的真人形象。
“逼真度”是衡量AI主播效果的一个重要指标。陈伟向机器之心表示,在初期,团队采用主观的方式来衡量AI分身的真实度,最近逐渐考虑采用一些客观标准,比如与真人视频每一帧画面进行比对。
近日,一段“换脸杨幂版”的《射雕英雄传》在网上广泛流传,关于AI换脸和模拟真人技术的讨论上升到社会层面,比如将技术用于不正当目的的伦理问题。
陈伟对此回应,首先, “分身”与“换脸”(deepfakes)在技术层面有着本质的差别,“换脸实际上是把一个人脸映射到另一个人脸上,前期投入成本很大,但‘分身’一旦建模之后,只需要输入文字就可以生成视频,不需要任何表演成本在里面。”
在技术使用的规范问题上,陈伟表示, “搜狗选择和明确的公司、在明确的领域合作,尽量通过场景圈定技术的使用范围,这样的好处就是不会把技术滥用。
全部0条评论
快来发表一下你的评论吧 !