赛目科技Sim Pro赋能自动驾驶算法评价体系构建

描述

2025年1月28日,国家标准GB/T 47025-2026《智能网联汽车 自动驾驶功能仿真试验方法及要求》(以下简称“仿真国标”)正式发布。作为自动驾驶仿真测试领域的首个国家标准,仿真国标在流程规范、场景构建、可信度评估与通过判定等方面提出系统化要求,其中评价指标体系是评价产品和算法是否满足要求的重要依据。

例如仿真国标第六章明确评价要求:6.1条要求场景结果需符合6.2条通用规范(不骑轧实线、按限速行驶等4项准则)及附录C-I专项要求,构建“通用通过要求+具体场景要求”双层评价框架。

赛目科技Sim Pro拆解仿真国标第六章及附录C-I评价逻辑,构建“合规内核-量化KPI-自动化判定”全链路方案,将算法功能和性能转化为匹配国标、可计算、可追溯的数据结果。第二期将阐述Sim Pro如何锚定国标,构建算法量化评价体系的核心能力与实践。

仿真国标评价体系

仿真国标第六章“总体通过要求”明确,需围绕“符合交通规则、满足具体场景要求”形成体系化结论。Sim Pro从安全性、合规性、舒适性、智能性、精确性五个核心维度,构建全面覆盖仿真国标6.2条通用要求及附录C~I专项要求的可量化评价体系。为确保评价与国标无偏差,Sim Pro通过三步标准化流程完成国标KPI的精准转化:

第一步是条款拆解,逐条梳理国标内容,明确各场景专项要求以及总体通过要求,形成清晰的“通用-场景”映射清单,避免评价漏项;

第二步为KPI归类,基于“通用+具体场景”双层框架,通用KPI锚定6.2总体通过要求,场景KPI依据附录具体场景需求,按照五大核心维度进行分类;

第三步是定性量化,“跟停启动时间”等特定场景指标,明确其阈值取值区间和判定依据,避免主观判定偏差。

Sim Pro工具链中的KPI示例

赛目科技

Sim Pro构建算法量化评价与自动化判定方法

Sim Pro 以 “精准量化、高效自动、灵活适配” 为核心目标,通过四大关键技术能力,将算法评价从传统的人工统计模式升级为全流程自动化体系,实现评价效率与判定精度的双重提升。

1. 场景&KPI 精准绑定

仿真国标中,不同测试场景的通过要求不同,而批量测试场景下的KPI配置效率与个性化需求,是算法评价流程中的核心诉求。Sim Pro采用自定义绑定机制,支持多场景共享 KPI 与单场景自定义 KPI 后批量测试,核心优势体现在以下两方面:

多场景共享统一KPI:针对同类型功能测试,Sim Pro 支持一次性选择多个场景,并为这些场景配置共同的核心 KPI。例如,选取仿真国标中 “前方车辆切入”“前车车辆紧急制动”“目标车辆切出后存在静止车辆” 3 类场景,统一绑定 “碰撞”“压实线检测”2 项通过要求KPI,无需为每个场景单独配置,大幅减少重复操作,尤其适配 “同功能多场景验证” 的批量测试需求,如下图所示为目标车辆切出后存在静止车辆场景不同case下的指标配置操作。

Sim Pro场景预设KPI——勾选多个场景后,设置共享KPI界面展示

单场景自定义KPI+批量执行:针对特殊场景的个性化评价需求,Sim Pro支持为单个场景独立配置专属 KPI,配置完成后可将该场景加入 “批量测试队列”,与其他场景一同执行自动化测试。例如,针对 “施工车道” 场景,工程师可单独设置 “车辆碰撞障碍物/路边树木”等专属 KPI,再将其与 “目标车辆切出后存在静止车辆场景”等场景合并为批量测试任务,系统会按预设 KPI 分别计算各场景结果,既满足个性化评价需求,又不影响整体测试效率。

2. 阈值管理灵活可控

阈值设定是算法量化评价的核心环节,直接影响评价结果的合理性与有效性。Sim Pro 构建了多层次阈值管理体系,既满足行业合规要求,又适配企业研发的个性化需求:

仿真国标KPI阈值预设:Sim Pro深度解析仿真国标每类场景的通过要求,已经将其中明确规定及隐含的阈值标准(如停车让行线距离、最高限速、最低限速、加速动作、等待时长等)全部预设到KPI评价体系中,形成标准化阈值库。用户选择 “国标KPI” 时,系统自动调用对应阈值进行判定,确保评价结果与国标要求保持一致。

自定义阈值配置:针对不同行业属性、业务场景的企业差异化阈值要求,Sim Pro支持阈值的灵活自定义。用户可根据自身业务目标,按场景类型、功能模块、测试阶段等维度,精准调整 KPI 阈值,设置贴合自身需求的评价标准。

KPI激活条件设置:支持为KPI设置特定激活条件,仅当场景满足预设特征时,对应的KPI计算才会被触发,以“停车让行线距离”为例进行操作展示,当 “主车前方10m内有停车让行标线,且主车与停车让行线之间没有其他交通参与者活障碍物”时,KPI激活。这种条件激活机制避免了无关阈值对评价结果的干扰,确保每一项KPI判定都基于场景实际特征展开。

3. 全流程自动化判定

Sim Pro通过自动化技术贯穿 “数据采集 - KPI 计算 - 结果判定 - 报告生成” 全流程:

实时数据采集:仿真过程中,可实时采集车辆位置、速度、加速度、姿态等车辆状态数据、KPI计算相关数据,以及行人、其他车辆、交通设施等周边环境数据,覆盖200+核心数据维度,仿真频率最高可达200Hz,确保数据的完整性与时效性。

KPI 自动计算与逻辑判定:仿真结束后,系统基于绑定的 KPI 体系,自动调用预设算法模型计算各项指标数值(如 TTC、车道偏移量、制动距离等),并与阈值进行比对,按预设判定规则输出 “通过 / 不通过” 结果。

多层级评价结果自动生成:系统可自动生成场景级和综合级两个维度的评价结果。场景级结果在测试过程中明确单个测试场景的整体判定,对其预设KPI明细展示各项指标的实测值、阈值要求、判定结果,精准定位算法短板;综合报告则对多场景测试的通过率、KPI 达标率等进行统计分析,形成全面的算法性能评估结论。

4. 可视化与历史追溯

Sim Pro 具备结果可视化与数据追溯能力,为定位算法缺陷、优化技术方案提供直观支撑:

关键数据曲线可视化:支持仿真过程中实时生成车速、加速度、车道偏移量、TTC 等核心指标的数据曲线,并随光标标注固定点值,快速识别算法在特定时段的性能波动。

场景回放与状态还原:支持仿真数据和视频回放,可拖动回放位置、改变播放速率等;支持测试场景的NG片段记录,可精准定位关键时间节点(如碰撞风险时刻、阈值超标时刻)的场景状态,直观呈现车辆与周边环境的相对位置关系、车辆动作响应等细节,还原问题发生过程。

数据追溯与导出:所有采集的原始数据、计算过程数据、评价结果数据均支持长期存储与追溯,用户可按需求导出数据文件(如 CSV格式),用于后续的深度分析与算法优化验证。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分