魔视智能虞正华：未来自动驾驶的大模型一定不是纯视觉的大模型

2023年7月8日，自动驾驶新势力Tier 1 魔视智能MOTOVIS创始人&CEO虞正华博士受邀参加「2023 WAIC 大模型与智能驾驶创新高端闭门会」，与参会人员深度探讨AI大模型在智能驾驶领域的关键应用、技术挑战、协同创新等时下热点。

本场闭门会以“智能驾驶新征程——大模型赋能下的商业化机遇与挑战”为题，由世界人工智能大会组委会办公室、上海市张江科学城建设管理办公室指导，上海张江（集团）有限公司、机器之心联合主办，旨在助力产业链企业更好地把握大模型发展趋势，推动企业间的业务合作与交流，加速智能驾驶商业化进程，为张江的「未来车生态」注入新的活力。

大模型在许多领域展示出了巨大的应用潜力，但在智能驾驶领域至今还未展现出一个非常成功的智能驾驶大模型。智能驾驶作为一个充满挑战和机遇的领域，与大模型的结合将碰撞出怎样的火花？

虞正华博士指出，目前确实有很多视觉大模型的尝试，包括在图像识别、实时目标检测和跟踪方面以及图像合成、图像修复、图像增强等应用的进展，但未来自动驾驶的大模型一定不是纯视觉的大模型，还需要综合视觉、语言等多模态技术。

未来的端到端的自动驾驶大模型，是否能将规划闭环在内还不确定，但是至少可以考虑将感知和预测放在一个端到端的模型中，将这个问题定义为一个泛感知问题，而这个模型的目标就是感知外部的世界，包括现在的和未来的（预测的）目标，为规划提供基础信息。

将语言大模型的“推理”能力跟视觉大模型的“感知”能力去结合，并进一步演变下去，发展成为真正的智能驾驶大模型。这种结合大模型推理能力和环境感知能力的智能驾驶系统，能够在实时感知、决策制定和控制执行方面发挥重要作用。然而，实现自动驾驶仍需综合考虑多个因素，如硬件平台、安全性、法律法规等。