智能汽车是汽车､电子､信息通信､道路交通运输等行业深度融合的新型产业形态｡当前, 我国智能汽车产业进入快车道, 技术创新日益活跃, 新型应用蓬勃发展, 产业规模不断扩大,而相应的测试技术体系也在不断完善, 推动产业进步｡本书首先立足于整体现状对智能汽车测试体系架构进行综述, 并针对测试技术的发展趋势和整个核心技术进行详细描述;然后, 针对测试体系中每一测试过程的概念､核心思想､关键技术､测试方法､发展趋势等进行详细描述｡注：本文节选自《智能汽车测试技术》第五章节，由机械工业出版社于2025年6月份出版本书可供智能汽车设计人员及测试人员阅读使用, 也可供车辆工程专业及相关专业师生阅读参考｡点击下方链接直播购买此书。
https://mp.weixin.qq.com/s/vMKR_WE8x5FTEwQX98fRDA
《智能汽车测试技术》目录
第1 章
导论
1.1 背景与需求/ 001
1.2 基本概念/ 003
1.2.1 测试与评价的基本概念/ 003
1.2.2 产品全生命周期中的测评技术/ 004
1.3 现状与挑战/ 005
1.4 本书章节安排/ 006
第2 章
智能汽车
测评概述
2.1 测评需求分析/ 009
2.1.1 安全性测试与验证/ 009
2.1.2 智能性测试与评价/ 012
2.2 测试方法论/ 015
2.2.1 安全性测试验证框架/ 015
2.2.2 智能性测试评估框架和体系/ 017
2.3 测试工具链及应用要求/ 023
2.3.1 测试工具链/ 023
2.3.2 测试需求与测试工具的适配性/ 027
2.4 本章小结/ 029
参考文献/ 030
第3 章
智能汽车
测试场景
3.1 场景基本概念/ 031
3.2 场景体系/ 033
3.2.1 场景要素与属性/ 033
3.2.2 场景层级/ 035
3.2.3 场景分类/ 036
3.3 场景生成方法/ 037
3.3.1 基于形式化描述的场景生成方法/ 037
3.3.2 基于驾驶员模型的场景生成方法/ 040
3.3.3 安全关键场景生成方法/ 048
3.4 场景采集与利用/ 051
3.4.1 场景采集技术/ 051
3.4.2 场景库搭建/ 052
3.5 本章小结/ 052
参考文献/ 053
第4 章
环境感知
系统的测试
技术与方法
4.1 环境感知系统测试需求分析/ 055
4.2 环境感知系统介绍/ 057
4.2.1 感知系统/ 057
4.2.2 硬件模组/ 058
4.2.3 认知算法/ 058
4.3 环境感知系统测试技术框架/ 059
4.4 各类感知环境介绍/ 060
4.4.1 封闭场地环境/ 060
4.4.2 道路交通环境/ 064
4.4.3 虚拟仿真环境/ 066
4.5 数据生成模型介绍/ 069
4.5.1 降雨图像生成方法概述/ 070
4.5.2 降雨图像生成模型介绍/ 071
4.5.3 降雨图像生成模型结果/ 075
4.6 具体测试案例/ 076
4.6.1 案例一:基于封闭场地环境的感知系统测试/ 076
4.6.2 案例二:基于虚拟仿真环境的硬件模组测试/ 078
4.6.3 案例三:基于虚拟仿真环境的感知系统测试/ 081
4.6.4 案例四:基于三类感知环境和数据生成模型的
认知算法测试/ 083
4.7 本章小结/ 086
参考文献/ 087
第5 章
决策规划
系统的测试
技术与方法
5.1 决策规划系统的测试需求与挑战/ 089
5.1.1 测试需求/ 089
5.1.2 测试挑战/ 090
5.2 基于场景的测试技术与方法/ 092
5.2.1 静态试验设计测试方法/ 092
5.2.2 动态试验设计测试方法/ 094
5.3 基于真实里程的测试技术与方法/ 101
5.3.1 开放道路测试技术/ 101
5.3.2 重要度采样加速测试方法/ 103
5.4 基于虚拟里程的测试技术与方法/ 104
5.4.1 虚拟里程测试系统组成框架/ 105
5.4.2 用于虚拟里程测试的NPC 模型生成方法/ 106
5.4.3 用于虚拟里程测试的NPC 模型性能验证/ 113
5.4.4 虚拟里程测试的应用/ 118
5.4.5 小结/ 130
5.5 其他测试技术/ 131
5.5.1 自动化测试技术/ 131
5.5.2 错误注入测试技术/ 139
5.5.3 分布式自动化测试技术/ 152
5.6 本章小结/ 157
参考文献/ 157
第6 章
整车测试
技术与方法
6.1 整车测评需求分析/ 159
6.2 封闭测试场地平台/ 160
6.2.1 封闭测试场/ 160
6.2.2 动态模拟目标物系统/ 162
6.2.3 定位与数据采集系统/ 163
6.3 开放道路测试系统/ 164
6.3.1 测试方案制定/ 165
6.3.2 数据采集与数据闭环系统/ 165
6.4 本章小结/ 166
第7 章
智能汽车
安全性评估
7.1 基于具体场景的安全性评估/ 169
7.1.1 场景瞬时风险评估方法/ 170
7.1.2 多阶段安全评估/ 180
7.1.3 单个测试场景结果外推/ 181
7.2 基于逻辑场景的安全性评估/ 182
7.2.1 评估要求/ 182
7.2.2 面向逻辑场景评价的危险域识别方法/ 183
7.3 针对被测功能的安全性评估/ 192
7.4 本章小结/ 192
参考文献/ 193
第8 章
智能汽车
综合行驶
性能评估
8.1 测评需求与研究现状/ 195
8.1.1 测评需求/ 195
8.1.2 研究现状/ 195
8.2 测评基本流程/ 197
8.3 典型测试场景矩阵/ 198
8.4 测试方法与流程/ 199
8.4.1 测试方案/ 199
8.4.2 背景车跟驰模型/ 199
8.4.3 测试数据输出/ 201
8.5 评价方法与流程/ 202
8.5.1 评价体系/ 202
8.5.2 评价流程/ 204
8.6 测评示例/ 206
8.7 本章小结/ 209
参考文献/ 209
附 录
附录A 测试工况参数设置/ 210
附录B 背景车跟驰模型/ 212
附录C 归一化方法/ 214
附录D 常见缩写词/ 216
错误注入测试技术能够模拟上游系统(感知、融合、预测系统) 的误差或错误, 实现对决策规划系统在输入数据不可信情况下的健壮性和安全性进行仿真测试。
5. 5. 2 错误注入测试技术
错误注入是一种经典的抗扰性测试方法,在芯片、软件、航空航天等领域得到了广泛应用。在错误注入测试中,测试人员通过设计受控实验,人为地在被测系统上模拟错误,观察被测系统在错误扰动下的表现,对被测系统的抗扰性进行评估。针对自动驾驶系统,近年来也有不少研究在仿真测试的基础上引入了错误注入方法。本节介绍一种面向决策规划系统的错误注入技术,该技术能够对自动驾驶决策规划系统的输入数据进行刻意修改,以此模拟上游系统(感知、融合、预测系统)的误差或错误,实现对决策规划系统在输入数据不可信情况下的健壮性和安全性进行仿真测试。
1. 形式化错误模型定义
错误注入的本质是对自动驾驶决策规划系统接口数据进行研究,构建统一的标准模型(数据模型)存储决策规划系统所需要的各个数据,并使用形式化后的错误信息(错误模型)对数据进行刻意修改,以达到注入错误的目的。因此,构建数据模型和错误模型是错误注入的核心工作。
(1)数据模型构建
数据模型存储某一时刻下仿真所需的所有数据的真值信息。为了保证通用性,模型内部的数据结构应是一个统一的标准结构,而不依赖于任何一个特定的仿真软件或被测对象。因此,可以基于自动驾驶六层场景本体模型,结合对决策规划系统工作原理的分析,归纳构建自动驾驶决策规划系统接口数据的数据模型。
第3章提到的六层场景本体可以系统性、结构化地描述一个自动驾驶场景。然而,自动驾驶决策规划系统除了需要来自环境感知的外部场景信息以外,还需要来自内部的自车信息(如自车的运动学状态、控制状态以及车辆内部机械和电子部件的工作状态等)。因此,错误注入技术所构建的数据模型具有和六层场景本体类似的层级架构,并在此基础上添加了表示自车内部信息的自车层。自动驾驶决策规划系统接口数据模型的结构如图5-42所示。
图5-42 自动驾驶决策规划系统接口数据模型的结构
(2)错误模型构建
1)数据错误的形式化。错误模型是待注入错误的集合。为了将自定的错误信息转化为计算机所能识别和执行的统一格式并提高技术的通用性,需要对数据错误进行形式化处理。数据错误可以定义为变量在真值的基础上发生的变更,数据变更的过程可表示为式(5-27)所示的形式:
式中,v为变量真值;δ为错误值;f函数为注入算子;v′为错误注入后的目标变量,可由f根据变量真值和错误值计算得到。
出于对自动驾驶系统安全性的考虑,决策规划系统通常被要求工作在较高的实时频率,其接口数据也以较高频率进行刷新,表现为由大量数据帧在时间上组成的连续序列,因此,可将式(5-27)拓展为以下形式:
2)错误模式。错误的具体表现形式称为错误模式。错误模式分可为基础错误模式和目标级错误模式两类。上述值覆盖和值偏移两个注入算子可以被看作基础错误模式。基础错误模式可进行组合和扩展,构成更加复杂的错误模式。例如从一个噪声分布中随机采样获得错误值,再通过值偏移模式叠加到数据真值上,便可以得到随机噪声错误模式。从近年来发生的与自动驾驶相关的事故中不难发现,真实世界中影响决策规划系统并最终导致事故的错误往往不会以基础错误模式的形式出现,而是以更高层级的,由基础错误模式组合拓展得到的目标级错误模式出现(如整个目标的长时间漏检或间歇性无法确定被检测目标类型)。基础错误模式是错误的具体实现手段,目标级错误模式是错误的实际表现方式。因此在测试时,对所注入错误的定义应该使用目标级错误模式。
为了系统性归纳目标级错误模式的所有表现形式,可从存在不确定性、类别不确定性、时序不确定性和状态不确定性共四个方面对目标级错误模式进行分类,如图5-43所示。其中,存在不确定性错误是指无法确定目标是否存在的错误,具体表现为对存在目标的漏检及对不存在目标的误检。类别不确定性错误是指无法正确对目标进行归类的错误,如将行人分类为自行车、将车辆分类为静态障碍物等。时序不确定性错误是指数据真值在时间序列上发生错序的错误,具体表现为实际值始终延后于真值的时延错误与实际值重复历史值的重发错误。状态不确定性错误是指对场景中各目标的状态信息估计不准确的错误,其中参数偏移是指状态值发生了有规律可循的偏移,如恒定的估计误差,精度下降是指状态值发生了随机偏移,造成对目标状态估计的精度不足,如随机噪声。上述目标级错误模式均为基础错误模式在时间序列上进行排列拓展而来。
图5 -43 目标级错误模式分类
图5-44所示为7种目标级错误模式在时间序列上的表现形式。需要注意的是,图5-44所展示的仅仅是相应错误模式的单一表现形式。在实际测试中,各错误参数如时延中的延迟时间、参数偏移中的偏移值等可能随时间发生改变;错误的持续时间及发生次数也可能会发生改变;同一目标物上发生的错误模式类别也可能会发生改变或叠加,如一开始发生了时延错误,之后又发生了参数偏移错误。具体的错误形式需要根据测试目的及真实情况对各目标级错误模式及各错误参数组合设计得到。
3)错误模型。上述方法对数据错误建立了通用的形式化方法,但这样描述的错误仅能表示某个特定类型的数据相比其真值发生了错误的变更,无法明确这个数据具体的含义,也无法明确这个错误的含义。完整的错误模型还应该包含错误的语义,需要建立形式化的错误和发生错误的目标数据之间的联系。Nurminen等在对机器学习的训练数据进行错误注入研究时,提出一种错误生成树的方法。该方法首先根据训练数据集的结构建立一棵树,接着通过在树的部分叶子节点上添加变换来模拟数据错误。借助这种错误生成树的思想可以建立错误和数据模型之间的联系,以实现完整的错误模型。
图5-447种目标级错误模式在时间序列上的表现形式
数据模型也可被建模为树结构,称为数据生成树。数据生成树的根节点代表整个数据模型,第一层的节点代表图5-42所示的场景本体层次,往下的节点代表场景中各个元素的各种信息,复杂的信息由基本的信息构成,一直到底层的叶子节点,成为不可继续分割的原子数据类型。数据生成树中的每个节点都具有自己的数据类型,一个错误可以关联到相同数据类型的树节点上,表示这个错误的目标数据就是这个树节点上的数据。通过这种方法,可以同步推导出一棵错误生成树,它跟数据生成树具有完全相同的结构,但每个节点上的数据不表示真值而表示错误值,合并数据生成树和错误生成树即可得到发生错误的场景。图5-45所示为使用树模型连接数据模型和错误模型的示例,图示场景包含三个错误:①交通参与者A的类别错误;②交通参与者A的位置y坐标存在高斯误差;③交通参与者C出现漏检错误。
通过使用错误五元组形式化地定义单个错误,并使用树模型将错误与数据模型中对应的目标数据进行关联,可以完整定义任意测试场景下的错误组合,形成决策规划系统接口数据的错误模型。
2. 错误注入测试功能实现
(1)架构设计
基于上述错误注入模型的分析,在设计错误注入工具时,可将其分解为四个功能模块,见表5-21。
表5-21 错误注入工具功能模块
其中,各个功能模块又可按照特定的功能需求进一步分成若干子模块,具体见表5-22。
表5-22 错误注入工具子模块
上述功能模块子模块之间的联系如图5 -46 所示。
错误注入工具工作在一个仿真集群上。一次错误注入测试被抽象为一个任务, 所有的测试任务都由部署在集群上位机节点上的任务中心进行分发。测试任务的来源被抽象为一个采样器, 它通过随机、批量、网格或者智能算法等方式生成新的测试任务给任务中心。测试任务的实际执行者为集群中的多个计算节点, 计算节点上部署了仿真软件、被测对象、错误注入器、自动化测试客户端等大部分模块。用户通过错误蓝图和场景蓝图定义一次测试任务的测试用例,错误蓝图解析器解析用户定义的错误进而生成错误模型, 错误模型在仿真运行时对数据模型中的数据进行更改以模拟错误。通过各自的适配器,仿真软件和被测对象以数据模型为中介进行信息交换,实现在环仿真。
图5 -46 错误注入测试工具架构
(2)错误蓝图
前面介绍了错误注入模型,其中数据模型存储某一时刻下仿真所需的所有数据的真值信息,错误模型对错误进行了形式化处理并定义了具体的错误表现形式。进一步可知,准确地描述一个错误需要以下5个信息:①错误注入的目标数据变量,即该错误将要被注入决策规划系统的哪个接口数据上;②目标数据变量的数据类型;③错误注入的触发条件,即该错误什么时候/什么情况下开始发生;④错误值的时间序列;⑤错误的附加模式,即错误值与真值结合的注入算子,如图5-47所示。
错误蓝图是用户与错误注入工具交互的接口,基于上述定义的错误描述信息编写。错误蓝图包含需要注入的错误信号的目标、时机和模式。在每次错误注入实验开始之前,错误蓝图解析器读取用户输入的错误蓝图,检验和解析错误蓝图中定义的各项错误,调用错误注入工具后端提供的接口初始化错误模型和数据模型,为实验做好准备。
图5 -47 描述数据错误所需信息
(3)与仿真软件和被测对象的适配
前面介绍了错误注入工具的主要功能模块。在投入实际使用之前,还需要将该工具与仿真软件和被测对象连接起来,图5-48所示为与仿真软件和被测对象完成适配之后的错误注入工具架构。其中,VTD是使用的仿真软件的名称,SUT是实验中使用的被测决策规划系统。
图5 -48 与仿真软件和被测对象完成适配之后的错误注入工具架构
1)与仿真软件的适配。研究中使用的自动驾驶仿真软件为VTD,它提供了包括场景构建、传感器仿真、交通流仿真、车辆动力学仿真在内的完备的仿真能力,对于包括OpenDRIVE地图格式、OpenSCEANRIO场景格式、OpenCRG路谱格式在内等多项开源标准有着良好的支持。本节主要使用VTD提供道路、交通设施、交通参与者、动力学模型等基本仿真环境,由于研究对象是决策规划系统,因此直接从VTD中提取场景的对象级信息,不涉及传感器仿真。
错误注入工具与仿真软件的适配主要涉及两部分内容:数据模型与仿真软件数据接口的连接,以及自动化测试客户端与仿真软件控制接口的连接。
VTD的实时仿真数据接口通过其RDB协议进行连接,使用传输控制协议(TCP)从VTD预定义的本地端口提取和发送RDB消息就可以实现数据模型和VTD实时仿真数据的交互。主要使用的RDB消息及其内容与作用见表5-23。
表5-23 主要使用的RDB消息及其内容与作用
VTD的仿真控制接口通过其SCP进行连接,使用TCP向VTD预定义的端口发送SCP指令就可以控制仿真的进程。自动化测试框架主要使用了SCP中的两个指令,见表5-24,其中scenario_file_path是一个参数,用于指定仿真场景文件的路径。
表5-24 使用的SCP指令
2)与被测决策规划系统的适配。错误注入工具和被测决策规划系统适配工作的主要目标是实现它们之间的实时信息交换,如图5-49所示。通过数据模型作为中转,从VTD中提取自车信息(CANINFO、NAVINFO)、检测对象信息(OBJECTLIST)、占据栅格地图(FUSIONMAP)、车道信息(LANES)、交通信号灯(TRAFFICLIGHT)等信息发送给被测对象;从被测对象接收车辆控制信息(CANCONTROL)并应用于VTD的车辆模型中,完成闭环仿真。
图5-49 被测对象和VTD经过数据模型进行连接
3. 错误注入测试技术应用
前面介绍了错误注入测试的核心模型和功能实现,开发了相应的错误注入测试工具。错误注入工具在自动驾驶领域有着广泛应用,错误注入是对自动驾驶系统的抗扰性进行研究的一种有效方法,基于仿真实现错误模拟是对自动驾驶系统进行错误注入测试的主要途径。智能汽车决策规划系统的计算结果与感知系统的输入数据直接相关,它对上游数据错误的抗扰能力,对整个自动驾驶系统的安全性有重要影响,对其进行测试和验证十分必要。下面以决策规划系统的抗扰性测试为例,介绍错误注入测试工具的具体应用。
下面的测试举例选择了两个被测系统,被测系统①为前面提到的IDM,被测系统②为Li等人提出的系统,该系统基于分层MPC进行开发,包含循迹、主动换道、路口通行、静态避障、泊车以及结构化道路超车与避让等功能。实验在一个硬件在环仿真测试平台上进行,如图5-50所示。示例使用VTD作为仿真平台提供理想的感知真值。两个被测决策规划系统部署在一台AIR-300工控机上。错误注入相关程序部署在仿真服务器中,根据所定义的错误将感知真值进行修改后发送给决策规划系统。决策规划系统接受感知信息后输出决策信息发送回仿真服务器中,仿真服务器接受决策信息,生成控制信号,作用于VTD中的受控车辆,完成仿真闭环。
图5 -50 硬件在环仿真测试平台
系统抗扰性测试场景如图5-51所示。如前所述,自车(Ego)由被测的决策系统控制,以初速度Ve0=60km/h行驶;前车(T)于自车同车道前方距离S=33m处,初始速度为Vt0=60km/h,仿真开始后第1s,前车以0.5g的减速度匀减速至静止。正常情况下(无错误注入),两个被测系统均能控制自车采取合适的减速度制动至静止,并与前车保持安全的距离。
图5-51 系统抗扰性测试场景在存在不确定性错误模式下,本实验对漏检错误模式在时序上进行组合,模拟自车间歇性未检测到前车的错误。漏检错误模式的时间轴如图5-52所示,漏检与正常检测交替出现,直至场景结束,其中,漏检时长与正常检测时长受两个参数控制:单次漏检时长(VanishTime)与漏检时长的占空比(DutyRatio),通过预实验选取两个错误参数取值范围分别为0~6s与0~1,保证在该范围内两个被测系统均会发生危险。错误的参数空间由这两个参数组成。错误的触发时间规定为仿真开始后的第1s。
图5 -52 漏检错误模式的时间轴
本实验中自车跟随前车沿道路方向行驶,因此碰撞风险来源于自车纵向,故采用每次测试过程中自车与前车的最小碰撞时间(TTC)作为安全性评价指标。规定最小TTC小于0.5s的测试用例为关键测试用例,这些用例对应的错误导致了自动驾驶系统在该场景下产生碰撞风险。
两个被测系统的实验结果如图5-53所示,它是通过对两个错误参数张成的搜索空间进行网格遍历测试得到的,网格分辨率为51×51,对于每个网格点都进行了一次仿真测试,每次测试以整个场景过程中最小的TTC作为输出结果来表征场景的危险程度。同时,为了能更加直观地观测关键错误参数的分布情况以及得到被测决策规划系统的抗扰性安全边界,将所得结果进行拟合插值,最终得到图示结果。给定最小TTC的阈值,即可在真值表中识别出系统在错误参数空间中的抗扰性边界,例如,图中的红色轮廓表示TTC阈值为0.5s时系统的抗扰性边界,漏检时长和占空比的参数组合不能落在边界划分出的危险区域内,否则将导致系统陷入危险。
图5 -53 两个被测系统的实验结果
对实验结果进行分析,从整体趋势上看,随着单次漏检时长的增加及漏检占空比的提升,两个被测系统均无法抵抗错误感知数据造成的干扰,最终进入危险状态。
本书首先立足于整体现状对智能汽车测试体系架构进行综述， 并针对测试技术的发展趋势和整个核心技术进行详细描述；然后， 针对测试体系中每一测试过程的概念、核心思想、关键技术、测试方法、发展趋势等进行详细描述。
本书可供智能汽车设计人员及测试人员阅读使用， 也可供车辆工程专业及相关专业师生阅读参考。
点击以下链接购买
https://mp.weixin.qq.com/s/vMKR_WE8x5FTEwQX98fRDA
作者简介：
陈君毅,2009年毕业于同济大学汽车学院,获工学博士学位,任职于同济大学汽车学院｡长期从事自动驾驶汽车测试与评价方向研究工作,先后主持和参与国家级､省部级项目共11项,并与华为､路特斯､上汽大众､蔚来等企业开展了深度校企合作研究｡近5年,在国内外学术期刊和国际会议上共发表SCI/EI检索论文近30篇,其中以第一作者或及通讯作者发表的为20余篇;申请发明专利30余项(已授权7项)｡担任SAE汽车安全和网络安全技术委员会秘书､功能安全和预期功能安全分委会主席;是自动驾驶测试场景国际标准(ISO3450X)支撑专家组成员,以及CAICV联盟预期功能安全工作组核心成员;担任《汽车工程》和《汽车工程学报》青年编委委员,IEEE Transactions on Intelligent Vehicles､Proceedings of the Institution of Mechanical Engineers, Part D: Journal of Automobile Engineering､《中国公路学报》､《汽车工程》､IEEE Intelligent Transportation Systems Conference､IEEE Intelligent Vehicles Symposium等国内外期刊和国际会议审稿人,曾于多项国际学术会议担任分论坛主席｡
版权信息:
智能汽车测试技术 / 陈君毅等著. -- 北京 : 机械工业出版社, 2025. 5. -- (智能汽车关键技术丛书).ISBN 978-7-111-77871-4 Ⅰ. U467 中国国家版本馆CIP数据核字第2025X8D229号
本书由机械工业出版社出版，本文经出版方授权发布。
来源：汽车测试网
