11月8日-10日,以“建设包容、普惠、有韧性的数字世界——携手构建网络空间命运共同体”为主题的2023年世界互联网大会乌镇峰会成功举办。今年是乌镇峰会举办的第十年,百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰出席前沿数字技术创新与安全论坛和人工智能赋能产业发展论坛,解读文心大模型4.0最新技术,阐述大模型产业模式。王海峰披露,文心一言用户规模现已达到7000万,场景4300个。
王海峰表示,人工智能是新一轮科技革命和产业变革的重要驱动力量,深度学习作为人工智能的核心技术,具有很强的通用性,并具备标准化、自动化和模块化的工业大生产特征,而大模型的兴起,使得人工智能应用的深度和广度进一步拓展。人工智能已进入工业大生产阶段。
例如,标准化方面,框架和模型联合优化,多硬件统一适配,应用模式简洁高效,大幅降低人工智能应用门槛;自动化方面,从训练、适配,到推理部署,提升人工智能研发全流程效率;模块化方面,丰富的产业级模型库,支撑人工智能在广泛场景的便捷应用。
王海峰认为,人工智能具有多种典型能力,理解、生成、逻辑、记忆是其中的基础能力,这四项能力越强,越接近通用人工智能,而大语言模型具备了这四项能力,且越来越强,为通用人工智能带来了曙光。
百度在3月16日发布新一代知识增强大语言模型文心一言,目前文心一言的基础模型已迭代到文心大模型4.0。知识增强大语言模型从数万亿数据和数千亿知识中融合学习,得到预训练大模型,在此基础上采用有监督精调、人类反馈强化学习、提示等技术,具备知识增强、检索增强和对话增强的技术优势。
此外,文心大模型4.0在输入和输出阶段都进行知识点增强。在逻辑增强方面,通过大规模逻辑数据构建、逻辑知识建模、多粒度语义知识组合以及符号神经网络,提升逻辑能力。而在插件方面,通过数据驱动、提示构建,以及插件增强进行场景适配,协同优化。文心一言已上线百度搜索、览卷文档、E言易图、说图解画、一镜流影等原生插件,扩展了大模型能力边界,更适应场景需要。
百度进一步研制了智能体机制,包括理解、规划、反思和进化,能够做到可靠执行、自我进化,并一定程度上将思考过程白盒化,让机器像人一样思考和行动,自主完成复杂任务,在环境中持续学习实现自主进化。
正是通过飞桨与文心的协同优化,文心大模型周均训练有效率超过98%,训练效率提升到3月发布时的3.6倍,推理性能提升50倍。文心4.0的理解、生成、逻辑、记忆四大能力显著提升,其中理解和生成能力的提升幅度相近,而逻辑和记忆能力的提升则更大,逻辑的提升幅度达到理解的近3倍,记忆的提升幅度也达到了理解的2倍多。
文心一言自8月31日面向全社会开放至今,用户规模达到7000万,场景4300个,应用2492个。飞桨和文心生态已凝聚800万开发者,服务22万家企事业单位,创建了80万个模型。
面对大模型产业化的挑战,王海峰表示,类似芯片代工厂模式,可以采用“集约化生产,平台化应用”的模式,即具有算法、算力和数据综合优势的企业将模型生产的复杂过程封装起来,通过低门槛、高效率的生产平台,为千行百业提供大模型服务。
目前,这一产业化路径已在文心大模型产业实践中得到验证,百度与合作伙伴共建了包括能源、金融、航天、制造、传媒、城市、社科以及影视等10余个行业大模型,正加速大模型产业化落地。
全部0条评论
快来发表一下你的评论吧 !