引言
当前,基于场景的智能网联汽车“三支柱”安全测试评估方法[1]已成为广泛的行业共识,模拟仿真测试是其重要手段之一[2]。国内外持续推进智能网联汽车准入管理和模拟仿真测试相关研究。联合国世界车辆法规协调论坛(WP.29)自动驾驶验证方法非正式工作组提出包含场景目录、模拟仿真测试、封闭场地测试、实际道路测试、审核评估和在用监测等5类技术手段的《自动驾驶新型测评方法(NATM)》[3]。2022年8月,欧盟发布自动驾驶车辆型式认证法规REGULATION (EU)2022/1426[4],提出必须对自动驾驶系统(ADS)进行合规性评估,评估可通过模拟仿真测试开展;同时,规定了使用模拟仿真测试开展合规性评估时模拟仿真测试工具链的可信度评估原则。2023年8月,为进一步完善企业标准制修订程序和提高企业标准化水平,鼓励企业对标国际标准和国内外先进标准,国家市场监督管理总局发布《企业标准化促进办法》[5],鼓励企业制定高于推荐性国家标准相关技术要求的企业标准。2023年11月,工业和信息化部等四部委联合发布《关于开展智能网联汽车准入和上路通行试点工作的通知》[6],要求智能网联汽车生产企业应具备满足模拟仿真测试条件的设计验证能力,并基于此能力,能够针对智能网联汽车产品开展模拟仿真测试,出具产品模拟仿真测试报告。其中,企业模拟仿真测试设计验证能力包括:
① 建立专门的模拟仿真测试机构,配备相应的模拟仿真测试人员;
② 建立模拟仿真测试工作流程;
③ 理解和掌握模拟仿真测试相关的技术;
④ 具备模拟仿真测试验证相关的工具和设备;
⑤ 具备针对自动驾驶功能产品的模拟仿真测试验证能力。
其中,针对②的要求,企业应建立智能网联汽车模拟仿真测试工作流程,旨在规定好相关的节点和要求,利用MIL/SIL/HIL/VIL等不同的在环仿真手段,通过测试分析、用例设计、环境搭建、测试执行、分析评价等环节,完成对智能网联汽车产品和自动驾驶系统的测试评价任务。该流程作为企业开展模拟仿真测试的“出发点”,提供顶层的思路和参考,故命名为企标0,并且属于流程类的标准规范。
针对③,为证明智能网联汽车生产企业已经理解和掌握模拟仿真测试相关的技术,企业应在②智能网联汽车仿真测试工作流程(企标0)的基础之上,建立企业模拟仿真测试标准和规范体系,基于国内外的标准法规要求,在企业范围内协调、统一模拟仿真测试相关技术要求,对技术进行专业化、标准化和普适性的描述,并作为重要的参考和依据,指导企业开发和测试人员/工程师具体地开展模拟仿真测试工作。
本篇文章按照测试前、测试中和测试后三个阶段,研究和阐述赛目科技提出的企业模拟仿真测试标准体系布局和理念,标准体系示意图如下图1所示。
图1 企业模拟仿真测试标准体系布局
其中,测试前是指在具体执行仿真测试前的准备阶段,测试中是指执行仿真测试的阶段,测试后是指执行完仿真测试之后的阶段。企业标准规范主要集中在测试前和测试后两个阶段。
测试前
“测试前”是指模拟仿真测试执行之前的测试准备阶段,包括测试用例设计、制定测试方案和环境搭建三个环节。测试用例设计是指通过测试用例分析,明确测试前提条件、测试输入、执行条件以及预期结果,最终获得测试用例集;制定测试方案包括明确测试方案,确定在环测试方式,安排具体测试人员/工程师,制定测试计划和确定模拟仿真测试工具链(包括仿真测试工具和仿真模型);仿真测试环境搭建是准备一个包括硬件/软件/网络/数据等必要元素的综合环境,包括开发和调试模拟仿真测试接口、模型搭建和场景搭建等。其中,测试用例设计是整个阶段工作的核心,反映了对被测对象的质量要求。随着对仿真测试可信的要求越来越高,环境搭建阶段涉及的仿真测试可信度评估被更多人知晓和关注。详细内容可参考赛目科技发布的《智能网联汽车模拟仿真测试》一文。针对测试前阶段涉及的测试场景和测试用例生成环节,仿真模型搭建环节,场景搭建环节,接口调试环节,企业应制定标准规范,对相关内容进行规范和统一描述,以便于指导后续工作开展,具体包括:
企标1《模拟仿真场景和测试用例生成规范》
企标2《仿真模型搭建技术规范》
企标3《模拟仿真测试场景搭建规范》
企标4《仿真测试接口开发和调试规范》
企标1《模拟仿真场景和测试用例生成规范》
编制目标:编制《仿真测试场景和测试用例生成规范》主要目标是指导企业人员/工程师通过不同方式快速地生成模拟仿真测试用例,客观且可重复地评估智能网联汽车产品和自动驾驶系统的运行安全性。
主要内容:测试用例生成方式主要包括预期功能安全分析、实际道路数采转换、泛化采样等。
输入:自动驾驶功能规范、设计运行条件、系统架构、实际道路采集数据等。
输出:测试用例描述(.excel)/场景文件(.xodr和.xosc)。
评审依据:
1)仿真测试场景/用例的合理性;
2)仿真测试场景/用例的覆盖度;
3)能够在仿真工具链中运行。
(1)预期功能安全场景生成,流程类规范,核心是解决预期功能安全场景如何生成,明确从预期功能安全分析到仿真测试用例设计和生成的具体步骤。内容主要包括功能规范和定义、危害分析和风险评估、定义危害事件、潜在功能不足与触发条件识别、改进措施需求分配、制定验证策略和设计测试用例,最终为系统安全设计及仿真测试验证提供输入。企业通过危害分析和风险评估,识别由相关项中功能异常表现引起的危害事件;在定义危害事件之后,识别可能导致危害事件发生的触发条件;通过梳理触发条件(包括可预见的误用),制定验证策略和设计测试用例,最终定义具有特定分类的自动驾驶模拟仿真测试场景。预期功能安全场景能够通过增加在系统设计开始时确定的已知不安全场景/用例的数量,来实现对自动驾驶系统的更全面的分析、开发和验证。
(2)实际道路数采场景生成,流程类规范,核心是解决实际道路数采场景如何生成,明确从路采数据采集到仿真测试场景生成的具体步骤。主要内容包括实际道路数采数据的获取、场景提取和数采数据格式转换等内容。其中,实际道路数采数据获取规定了数据采集车如何搭建,采集哪些信息,输入文件的格式,输出文件格式(例如“.csv”)和关键信息(例如rosbag)等;场景提取部分规定了场景片段提取的方法/算法,设置的关键提取KPI指标等;数采数据的格式转换规定了基于数据采集阶段获取的输出文件的格式和关键信息,以及开展场景格式转换的详细步骤,以及转换完成后的校验流程。实际道路数采生成的仿真测试用例/场景更贴近于真实的驾驶交通环境和场景。
(3)测试用例泛化和生成,技术类规范,核心是通过方法论,解决测试用例如何泛化和生成。在明确模拟仿真功能/逻辑场景的基础上,描述具体测试用例泛化和生成的步骤和方法。通过详细分析功能场景中的关键参数,基于真实数据统计和理论分析等方法得到这些关键参数的分布范围(得到逻辑场景),选取其中一组参数取值作为一个具体测试用例。理论分析方法包括定步长采样,随机采样、重要性采样等。针对参数层面的泛化,核心能力在于如何识别有效场景和剔除不合理场景,最终定义泛化空间,获得具体测试用例。详细分析方法内容可参考企标6中的场景空间分析部分。测试用例泛化和生成方法能够支持算法的正向开发,配合采样算法,更容易找到算法解决不了的“Corner Case”。
企标1 附录《自动化测试用例生成规范》技术类规范
编制本附录的目标是标准化测试用例生成步骤,解决自动化仿真测试问题,提高测试效率。由企标1的(1)(2)生成的模拟仿真测试用例/场景文件(.xodr/.xosc)一般可以直接在仿真工具链中运行,但(3)通常生成一组文档版本的测试用例(.excel)。本附录主要规范仿真测试用例的表述模板,包括在文档(.excel)中统一测试执行前的操作(测试场景ID/名称、测试条件、输入接口等)、测试执行中的操作(观测接口、执行操作等)和测试执行后的操作(输出接口、判断条件等)。通过制定和编写测试用例表述模板,指导企业测试人员/工程师规范地编写仿真测试用例(.excel),配合运行自动化测试脚本(.python等),直接调用和加载测试用例文档(.excel),最终准确、自动化地生成模拟仿真场景文件(.xodr/.xosc)。同时,场景文件(.xodr/.xosc)又可以直接输出到仿真测试工具链中开展测试,整体提高测试效率。
企标2《仿真模型搭建技术规范》技术类规范编制目标
编制目标:编制《仿真模型搭建技术规范》主要目标是解决仿真模型搭建难、搭建慢,搭建不一致的问题,提高模型的建模质量、可读性和搭建效率。
主要内容:指导企业测试人员/工程师快速、准确地搭建系统/实体(建模对象)对应的仿真模型,揭示系统/实体的形态特征和本质,帮助观测和认知建模对象的行为,助力开展模拟仿真测试。
输入:模型结构、参数、说明等。
输出:仿真模型文件(.cpr /. osgb等)。
评审依据:
1)仿真模型的可靠性、稳定性和可扩展性等;
2)能够支撑模拟仿真测试;
3)仿真模型的可信度。
在智能网联汽车模拟仿真测试中,常见的建模对象包括车辆动力学系统和感知系统(车载传感器),因此,本规范主要约束车辆动力学模型搭建技术和传感器模型搭建技术等内容。其中,传感器模型搭建规范又包含摄像头模型、毫米波雷达模型、激光雷达模型和V2X模型等。
(1)车辆动力学模型搭建技术规范解决了动力学模型如何搭建的问题,明确车辆动力学仿真模型搭建对象,动力学参数配置步骤,模型参数定义、取值范围和含义,以及控制接口配置等。车辆动力学模型包括车身模型、动力传动模型(区分燃油车和电动车)、制动模型、转向模型、悬架模型、车轮模型和空气动力学模型等。模型参数配置主要指导测试人员/工程师针对动力学参数进行可视化配置,实现对车辆动力学性能的个性化设置。
(2)传感器模型搭建技术规范解决了传感器模型如何搭建的问题,明确传感器仿真模型建模对象,定义不同的传感器参数,明确参数取值范围,以及明确各参数的配置步骤。例如,搭建摄像头传感器模型的步骤可参考以下内容:由于搭建目标是模拟从光到数字信号的转换、颜色处理和渲染等,因此,考虑光学特征,定义摄像头安装位置参数(内参和外参)、水平分辨率、垂直分辨率等;考虑电气特征,需要进行模数转换和明确插值等;再经过光线跟踪(fay tracing)、光线投射(ray casting)、纹理映射(texture mapping shader)等图像渲染方法,最终实现建模对象在仿真环境中的真实还原,当然,为了更贴近车辆真实感知的世界,可以在传感器模型生成的数据中添加一些噪声。
企业通过建立一套通用的建模技术规范,可以对建模过程的各个环节进行精细化约束,确保模型的可信程度,保障模拟仿真测试的顺利进行。此外,良好的仿真建模规范可以使仿真模型更容易被理解,便于直观分析模型的功能,从而有助于企业测试人员/工程师发现和修正潜在的问题。
企标3《仿真测试接口开发和调试规范》技术类规范
编制目标:编制《仿真测试接口开发和调试规范》主要目标是解决仿真测试接口定义不明确、接口不统一,测试内容和测试边界不明确的问题。目标是通过一种通信机制,实现仿真工具链和被测对象之间的信息交互。
主要内容:规范内容包括接口文档类型、输入文档、接口定义和说明以及接口调试步骤等。其中,接口定义和说明又包括接口名称、接口数据格式、数据字段定义、单位、取值范围,数据传输链路等信息。
输入:接口名称、定义、数据包定义、接口说明等
输出:仿真接口文档(.pdf)。
评审依据:能够支撑模拟仿真测试。
企业开展自动驾驶模型/算法/硬件系统/整车模拟仿真测试时,需要与仿真测试工具链或第三方仿真模型进行通信。规范相关的接口文档,就能够明确一帧完整消息的通信方式(可由消息头部和数据部分组成,数据部分包含若干个package;每一个package 由头部和数据部分组成,数据部分又包含若干个元素element)。具体结构体定义可以包括车辆坐标信息、初始化车辆参数信息、道路信息、试验车辆信息、传感器信息、探测目标物信息等。本文件主要用于指导企业测试人员/工程师基于不同在环仿真测试方式,开发和调试模拟仿真测试接口。同时,针对不同的仿真接口特点进行总结,基于以往经验的积累以及参照开发和调试数据等,不断优化接口文档的内容。
此外,针对企标2搭建的仿真模型,如测试需要,企业也可以定义相关接口,例如《车辆动力学模型接口文档》《传感器模型接口文档》等,支撑企业开展模拟仿真测试。
企标4《模拟仿真测试场景搭建规范》技术类规范
编制目标:编制《模拟仿真测试场景搭建规范》主要目标是解决仿真测试场景搭建难、再现难的问题。
主要内容:规范了具体测试用例/场景的搭建方法、步骤和流程。
输入:模拟仿真测试用例(.excel)等。
输出:仿真场景文件(.xodr/.xosc)。
评审依据:能够在仿真工具链中运行。
《仿真测试场景搭建规范》主要基于企标1获得的具体测试用例,指导测试人员/工程师具体开展仿真测试用例/场景的搭建工作。本规范可参考企业内部使用的仿真平台/工具的使用手册或操作指南(例如:Sim Pro操作手册)进行编制。主要包括静态道路的搭建和动态场景的搭建。
(1)道路/地图文件搭建,用于指导测试人员/工程师如何搭建地图文件(.xodr)。针对静态场景设计,明确创建道路(Road)、物体(Objects)和信号(Signals)的具体步骤,以及如何修改相关的参数设置等。
(2)场景文件搭建,用于指导测试工程师如何搭建场景文件(.xosc)。针对动态场景搭建,明确创建和修改动态场景的具体步骤,以及根据(1)搭建的具体道路状况,建立复杂的交通流或对各种干扰的交通情况进行仿真,干扰包括行人干扰、不遵守交通规则的车辆干扰等。通常动态场景的设计是通过事件触发形式,触发条件包括位置等。
测试后
“测试后”是指执行完仿真测试之后的阶段,主要包括对仿真测试结果的评价和仿真测试用例/场景的空间分析和评估。测试评价可以为产品功能的迭代和优化提供相关意见和建议;测试用例/场景的空间分析和评估可以识别有效场景和剔除不合理场景,最终定义泛化空间,优化迭代测试用例。建议企业将以上两个重要环节形成标准化的指导文件产品模拟仿真测试评价规范和场景空间分析评估规范,并参考执行。
企标5《产品模拟仿真测试评价规范》
企标6《场景空间分析和评估规范》
企标5《产品模拟仿真测试评价规范》技术类规范
编制目标:编制《产品模拟仿真测试评价规范》主要目标是解决仿真测试用例/场景如何评价的问题。
主要内容:规范了具体测试用例/场景的评价指标、评价方法、评价步骤和判断条件。
输入:仿真测试数据(.log日志)等。
输出:仿真测试用例/场景结果文件、测试报告等(.pdf)。
评审依据:
1)符合法律、法规和标准要求;
2)符合企业自定义评价指标要求;
3)提升产品功能或性能。
《产品模拟仿真测试评价规范》中应明确企业针对单一仿真测试用例/场景的评价范围、评价要求、评价指标、评价方法和判断条件,以及在政策、法规、国家标准的基础上,适配企业和自身产品特点,自定义设置的独特性、关键性评估指标或指标体系的流程和方法,例如,在满足合规要求的基础上,可再梯度区分不同在环仿真测试方式测试要求。
企业应明确如何从安全性、合规性、舒适性和智能性等方面对智能网联汽车产品和自动驾驶系统进行全面、准确地评估。企业测试人员/工程师可以参考法规、标准中明确的安全性和合规性(交规符合性等)要求,详细分析和拆解每个测试用例的通过要求的评价指标,最终满足合规要求。在此基础上,企业可关注车辆或自动驾驶系统的舒适性和智能性需求,例如,除紧急避险类场景外,车辆是否有急加/减速等,根据企业的独特要求进行配置和调整,自定义评估指标、评估流程和评价方法,制定出更加符合企业需求和特点的评价体系,使评价结果更具有针对性和实用性。同时,企业可以根据自身发展的不同阶段,及时调整和优化本规范中的各类评价指标,以适应不断变化的市场环境和企业战略。
企标6《场景空间分析和评估规范》技术类规范
编制目标:编制《场景空间分析和评估规范》主要目标是解决仿真测试场景空间如何分析和评估的问题。
主要内容:规范了场景空间分析和评估的指标、方法、步骤和判断条件。
输入:测试用例描述(.excel)/场景文件(.xodr和.xosc)等。
输出:场景空间分析和评估结果文件(.pdf)。
评审依据:
1)符合法律、法规和相关标准要求;
2)提升产品功能或性能。
本规范中的场景空间分析是评估所采用的测试用例泛化方法和测试效率的一种方式,即“测试前分析方法”,指的是在模拟仿真测试开始之前,在测试人员/工程师编写测试用例时就进行的测试场景空间可靠性、敏感性和鲁棒性的分析和估算,进而提高模拟仿真测试效率的一种手段。敏感性分析可以高效地探索测试空间并对其降维,降低后续分析的难度;可靠性分析与鲁棒性分析可以精确地估计被测试系统在指定空间中的失败概率与临近面的鲁棒性。场景空间分析内容可在企标1(3)部分中完成。
本规范中的场景空间评估是从统计学角度,明确如何对仿真测试用例/场景覆盖度等影响产品测试验证的重要因素进行科学、有效地评价。一是明确基于真实数据统计和理论分析等方法得到的用于自动驾驶产品仿真测试的一组测试用例是否有效;二是明确一组测试用例是否足够覆盖自动驾驶产品/系统的设计运行条件;三是明确是否支撑尽可能地识别了“Corner Case”;四是明确能否支持自动驾驶产品的最终验证。
企业可自定义相关因素和指标,配合场景空间分析和评估,经过多轮的迭代,最终能够降低采样个数、优化测试用例,有效解决测试用例/场景的覆盖度问题。
仿真测试可信度评估
伴随产品模拟仿真测试的整个过程,企业还应该进行仿真测试可信度评估。尤其是需要保证本次仿真测试使用的模拟仿真测试工具链的置信度。在本阶段,企业可根据自动驾驶产品验证和确认方案,在明确仿真测试涉及的全部仿真工具及其相关模型后,在本阶段完成仿真工具链置信度评估,包括仿真工具置信度评估和仿真模型可信度评估,涉及到的企业标准规范主要包括:
企标7《仿真工具置信度评估规范》
企标8《仿真模型可信度评估规范》
企标9《场景置信度评估规范》
企标7《仿真工具置信度评估规范》技术类规范
编制目标:编制《仿真工具置信度评估规范》主要目标是解决如何开展仿真工具置信度评估的问题。
主要内容:规范了仿真工具置信度评估的评估方法、流程和评价指标等内容。
输入:仿真工具开发代码、过程文档等。
输出:仿真工具置信度评估结果文件(.pdf)。
评审依据:
1)符合法律、法规和相关标准要求;
2)仿真工具不会出现计算错误。参考WP.29 NATM文件[3]、 EU 2022/1426[4],仿真工具置信度评估的具体流程包括仿真工具分析、仿真工具验证和仿真工具确认。仿真工具分析主要是分析仿真工具的范围和局限性,确定可能影响仿真测试结果的涉及仿真工具的不确定性来源。仿真工具验证方法包括代码验证、计算验证等。代码验证包括静/动态代码验证、收敛性分析、精确解比较等;计算验证是针对仿真工具产生的影响开展数值误差估计,数值误差需要保持在一定的范围内以不影响仿真测试结果。仿真工具确认方法取决于仿真工具的结构组成和测试目标,包含静/动态场景编辑模块、仿真引擎模块、车辆动力学模块、传感模块(如涉及)等。在仿真工具置信度确认时,可使用专用测试场景进行验证,确保仿真工具在即将开展的具体测试用例之外的测试用例/场景下,测试结果表现一致。详细内容可参见企标9。
此外,基于验证方法的理论基础,企业可以根据专家经验自定义仿真工具置信度的评估指标,具体指导评估工作的开展。
企标8《仿真模型可信度评估规范》技术类规范
编制目标:编制《仿真模型可信度评估规范》主要目标是解决如何开展仿真模型可信度评估的问题。
主要内容:规范了仿真模型可信度评估的评估方法、流程和评价指标等内容。具体又可以细分为以下5个子规范:
企标8-1《车辆动力学模型可信度评估规范》
企标8-2《传感器模型可信度评估规范》
企标8-3《地图模型可信度评估规范》
企标8-4《交通流模型和驾驶员模型可信度评估规范》
企标8-5《天气环境模型可信度评估规范》
输入:仿真模型参数、文档等。
输出:仿真模型可信度评估结果文件(.pdf)。
评审依据:
1)符合法律、法规和相关标准要求;
2)仿真模型与真实系统输出结果的相似程度。
仿真模型可信度评估主要目的是指导测试人员/工程师具体开展仿真模型的可信度评估,最终证明基于企标2搭建的仿真模型或外采的第三方仿真模型,一是可被信任的,不会受到数字或逻辑缺陷的干扰;二是具备高保真度,即搭建的仿真模型与建模对象具备高的相似程度。本规范内容主要包括仿真模型的可信度评估方法、评估流程和评估指标等,涉及企标8-1约束的车辆动力学模型、企标8-2约束的传感器模型、企标8-3约束的地图模型、企标8-4约束的交通流模型和驾驶员模型、企标8-5约束的天气环境模型等。
同样,参考WP.29 NATM文件[3]、 EU 2022/1426[4],仿真模型可信度评估流程包括仿真模型分析、仿真模型验证和仿真模型确认。仿真模型分析主要是明确仿真模型的范围和局限性,以及明确仿真模型内的不确定性来源,规范中可以注明不确定性来源的分类以及每个类别对仿真模型输出的影响。仿真模型验证需要对仿真模型的建模原理或数学模型进行正确地响应和分析,包括敏感性分析等。敏感性分析是基于优化理论,量化模型输入值的变化对模型输出值的影响,即量化仿真模型对于输入不确定性的“敏感程度”,并筛选出的对模型结果影响最大的参数定义为最关键参数。针对最关键参数开展敏感性分析后,可以帮助测试人员/工程师更深刻地理解模型,为后续模型的表现提供判断依据。针对仿真模型确认,企业可以自定义用于仿真模型确认的方法和阈值,记录用于模型确认的相关数据并注明相应数据的重要的质量特征(例如数据覆盖度、信噪比等),以及编制具体的说明文件内容,确保用于确认仿真模型的数据能够覆盖仿真工具链的预期仿真功能。
其中, 企标8-1和企标8-2重点是对工作原理的模拟,主要选择使用典型场景以及典型参数对比的方式进行;企标8-3和企标8-5主要通过收集实际数据,观察地图 (基于高精度地图导入)/天气模型的输出结果,并与实际情况进行对比,评估模型准确性;企标8-4重点是对规律和行为的模拟,从统计学意义上证明关键特征一致。
企标9《场景置信度评估规范》技术类规范
编制目标:编制《场景置信度评估规范》主要目标是解决如何开展仿真场景置信度评估的问题。
主要内容:规范了场景置信度评估的评估方法、流程和评价指标等内容。基于企标7约束的专用测试场景,通过将模拟仿真测试与封闭场地/实际道路测试结果进行有效地对比,验证模拟仿真测试的可信度。
输入:对比参数、模拟仿真/封闭场地/实际道路测试过程文档、测试报告(.pdf)等。
输出:场景置信度评估结果文件(.pdf)。
评审依据:符合法律、法规和相关标准要求。
在企标7仿真工具置信度确认中,明确可使用专用测试场景进行验证,编制场景置信度评估规范的主要目的是指导模拟仿真测试人员/工程师具体开展基于专用测试场景的模拟仿真测试与实车测试(包括封闭场地测试和实际道路测试)结果的对比,通过制定测试结果和关键参数的对比分析流程和对比指标,证明在同一测试场景下,仿真试验结果和实车测试结果趋势或表现一致。对比指标包括相对误差、均方根误差和拟合度等。对比指标具体详见赛目科技发布的《关于模拟仿真测试可信度评估方法的研究(下)——评估方法》一文。
通过开展场景置信度评估,以及结合测试准备阶段已经完成的仿真工具置信度评估(企标7)和仿真模型可信度评估(企标8),最终完成仿真试验的可信度评估。
附:企标0《产品仿真测试流程》流程类规范
编制目标:编制《产品仿真测试流程》主要目标是解决如何按照标准化的步骤和流程开展模拟仿真测试的问题,提高模拟仿真测试效率。
主要内容:规范了从测试准备、测试执行中和测试结束的全流程内容和时间节点,确保每个测试任务都按照统一的标准执行。
输入:测试方案(.pdf)、测试用例(.excel)等。
输出:产品模拟仿真测试报告(.pdf)。
评审依据:
1)符合法律、法规和相关标准要求;
2)测试流程的合理性。
本规范具体细分可包括模型在环(MIL)测试流程、软件在环(SIL)测试流程、硬件在环(HIL)测试流程和车辆在环(VIL)测试流程。产品仿真测试详细步骤包括:
(1)确定测试方案。明确测试人员/工程师、测试排期以及具体测试用例,具体测试用例生成可参考企标1;
(2)确定仿真测试工具链。根据(1)获得的测试用例,确定仿真测试工具链,包括仿真工具和仿真模型,其中,仿真模型可参考企标2进行搭建;
(3)开发和调试仿真测试接口。根据(1)获得的测试用例和(2)确定的仿真测试工具链,参考企标3,开发和调试仿真测试接口;
(4)开展仿真工具链置信度评估。为保障仿真测试工具链置信度,参考企标7和企标8,开展仿真工具链置信度评估(包括仿真工具置信度和仿真模型可信度评估);
(5)根据(1)获得的测试用例,基于(4)已经完成置信度评估的仿真工具链,参考企标4,搭建具体的仿真测试场景;基于(3)开发的仿真接口,完成测试环境的搭建;
(6)执行具体仿真测试。根据(1)明确的测试人员/工程师和排期,参考企标0,执行仿真测试;
(7)得到仿真测试结果。参考企标5和企标6,对于仿真测试结果进行评价。同时,可以参考企标9,将模拟仿真测试与封闭场地/实际道路测试结果进行有效地对比,验证模拟仿真测试的可信度。
企业可以通过对企标0标准化的测试流程的定期复盘和审查,不断优化针对产品的测试效率和业务绩效。同时,识别问题并持续改进测试流程,更好地适应市场变化、法规要求或客户需求的变动。
结语
本文基于赛目科技的实践经验和研究成果,主要阐述了企业通过制定模拟仿真测试企业标准和规范体系证明理解和掌握仿真关键技术的核心理念。在国家鼓励企业建立健全标准化工作制度和实施企业标准“领跑者”制度的政策背景下,配备专/兼职标准化人员/工程师,适配企业和自身产品特点,对模拟仿真测试过程中涉及的关键技术进行标准化和准确性的描述,具体地指导开发和测试人员/工程师开展智能网联汽车产品的模拟仿真测试工作,把仿真测试做专、做精和做深,积极地促进智能网联汽车产品质量提升,推动企业高质量发展。
参考文献
[1] 刘法旺, 曹建永, 张志强等. 基于场景的智能网联汽车“三支柱”安全测试评估方法研究[J]. 汽车工程学报, 2022,12(5).
[2] 刘法旺,何丰,周时莹等.基于场景的智能网联汽车模拟仿真测试评估方法与实践[J].汽车工程学报,2023,13(02):135-145.
[3] Working Party on Automated/Autonomous and Connected Vehicles. Proposal for a second iteration of the New Assessment/Test Method for Automated Driving - Master document[Informal document][Z]. United Nations:Working Party on Automated/Autonomous and Connected Vehicles,2022.
[4] REGULATION (EU)2022/1426.
[5] 《企业标准化促进办法》
[6] 《关于开展智能网联汽车准入和上路通行试点工作的通知》
来源:赛目科技