理想汽车自动驾驶端到端模型实现

在最近的英伟达GTC2024大会上，理想汽车智能驾驶技术研发负责人贾鹏详细阐述了理想汽车在自动驾驶方面的思考和研发进展。

以下是对其演讲内容的整理和概括：

● 发展趋势：自动驾驶技术在中国汽车行业中已成为主要的发展方向，而大语言模型的应用更是成为普遍趋势。

● 技术演进：从过去的规则驱动向基于知识的驱动转变，端到端模型的应用实现了感知、决策等环节的模型化。

● 端到端模型：端到端模型覆盖了感知、跟踪、预测、决策和规划等环节，从而实现了完整的自动驾驶系统。

● 理想自动驾驶框架：快慢系统的开发框架使得车辆能够像人类一样具有快速反应和深思熟虑的能力，从而适应复杂的交通环境。

从长远来看，实现了全场景的自动驾驶，认知模型通过多模态大语言模型实现对未知场景的理解和决策，世界模型提供真实世界的仿真环境，数据闭环系统不断学习和适应新的挑战。

01     从规则到知识驱动

理想汽车从2021年开始自主研发自动驾驶技术，首先从L2级别开始，逐步扩展至高速NOA等场景。过去，自动驾驶技术主要依赖于代码和规则，但随着技术的发展和挑战的增多，转向了以数据驱动的方法。特斯拉等公司的成功案例表明，数据驱动是未来发展的趋势。

理想汽车在感知、跟踪、预测、决策和规划等方面都进行了模型化，最终实现了端到端的模型。这种模型不仅完全模型化，还能够虚拟化，即在模拟环境中进行训练和测试。这种端到端模型的应用使得在各种场景下都能够实现自动驾驶，从而提高了安全性和效率。

02     理想自动驾驶开发框架

理想汽车构建了一个快慢系统的开发框架，类似于人类思维的快速反应和慢思考。快系统负责直觉性的反应，而慢系统则负责逻辑思考和决策。这种框架中结合了感知、认知和决策，使得车辆能够更好地适应复杂的交通环境。

理想汽车在端到端模型、认知模型、世界模型和数据闭环等方面取得了显著进展。其中，端到端模型的应用使得车辆能够实现全场景的自动驾驶，包括城市道路、红绿灯路口等复杂场景。认知模型则通过多模态大语言模型实现了对未知场景的理解和决策。而世界模型则通过重建和生成技术提供了真实世界的仿真环境。数据闭环的系统使得车辆能够不断学习和适应新的场景和挑战。

小结      

随着技术的不断发展和完善，理想汽车相信自动驾驶技术将会迎来更广阔的发展空间。通过不断优化和迭代，理想汽车将致力于实现更高级别的自动驾驶。

审核编辑：黄飞