智能汽车是汽车､电子､信息通信､道路交通运输等行业深度融合的新型产业形态｡当前, 我国智能汽车产业进入快车道, 技术创新日益活跃, 新型应用蓬勃发展, 产业规模不断扩大,而相应的测试技术体系也在不断完善, 推动产业进步｡本书首先立足于整体现状对智能汽车测试体系架构进行综述, 并针对测试技术的发展趋势和整个核心技术进行详细描述;然后, 针对测试体系中每一测试过程的概念､核心思想､关键技术､测试方法､发展趋势等进行详细描述｡
注：本文节选自《智能汽车测试技术》第五章节，由机械工业出版社于2025年6月份出版
点击链接手机打开购买 https://mp.weixin.qq.com/s/4QHVGlMIYo4T5itRCIcqlg
本书可供智能汽车设计人员及测试人员阅读使用, 也可供车辆工程专业及相关专业师生阅读参考｡
《智能汽车测试技术》目录
第1 章
导论
1.1 背景与需求/ 001
1.2 基本概念/ 003
1.2.1 测试与评价的基本概念/ 003
1.2.2 产品全生命周期中的测评技术/ 004
1.3 现状与挑战/ 005
1.4 本书章节安排/ 006
第2 章
智能汽车
测评概述
2.1 测评需求分析/ 009
2.1.1 安全性测试与验证/ 009
2.1.2 智能性测试与评价/ 012
2.2 测试方法论/ 015
2.2.1 安全性测试验证框架/ 015
2.2.2 智能性测试评估框架和体系/ 017
2.3 测试工具链及应用要求/ 023
2.3.1 测试工具链/ 023
2.3.2 测试需求与测试工具的适配性/ 027
2.4 本章小结/ 029
参考文献/ 030
第3 章
智能汽车
测试场景
3.1 场景基本概念/ 031
3.2 场景体系/ 033
3.2.1 场景要素与属性/ 033
3.2.2 场景层级/ 035
3.2.3 场景分类/ 036
3.3 场景生成方法/ 037
3.3.1 基于形式化描述的场景生成方法/ 037
3.3.2 基于驾驶员模型的场景生成方法/ 040
3.3.3 安全关键场景生成方法/ 048
3.4 场景采集与利用/ 051
3.4.1 场景采集技术/ 051
3.4.2 场景库搭建/ 052
3.5 本章小结/ 052
参考文献/ 053
第4 章
环境感知
系统的测试
技术与方法
4.1 环境感知系统测试需求分析/ 055
4.2 环境感知系统介绍/ 057
4.2.1 感知系统/ 057
4.2.2 硬件模组/ 058
4.2.3 认知算法/ 058
4.3 环境感知系统测试技术框架/ 059
4.4 各类感知环境介绍/ 060
4.4.1 封闭场地环境/ 060
4.4.2 道路交通环境/ 064
4.4.3 虚拟仿真环境/ 066
4.5 数据生成模型介绍/ 069
4.5.1 降雨图像生成方法概述/ 070
4.5.2 降雨图像生成模型介绍/ 071
4.5.3 降雨图像生成模型结果/ 075
4.6 具体测试案例/ 076
4.6.1 案例一:基于封闭场地环境的感知系统测试/ 076
4.6.2 案例二:基于虚拟仿真环境的硬件模组测试/ 078
4.6.3 案例三:基于虚拟仿真环境的感知系统测试/ 081
4.6.4 案例四:基于三类感知环境和数据生成模型的
认知算法测试/ 083
4.7 本章小结/ 086
参考文献/ 087
第5 章
决策规划
系统的测试
技术与方法
5.1 决策规划系统的测试需求与挑战/ 089
5.1.1 测试需求/ 089
5.1.2 测试挑战/ 090
5.2 基于场景的测试技术与方法/ 092
5.2.1 静态试验设计测试方法/ 092
5.2.2 动态试验设计测试方法/ 094
5.3 基于真实里程的测试技术与方法/ 101
5.3.1 开放道路测试技术/ 101
5.3.2 重要度采样加速测试方法/ 103
5.4 基于虚拟里程的测试技术与方法/ 104
5.4.1 虚拟里程测试系统组成框架/ 105
5.4.2 用于虚拟里程测试的NPC 模型生成方法/ 106
5.4.3 用于虚拟里程测试的NPC 模型性能验证/ 113
5.4.4 虚拟里程测试的应用/ 118
5.4.5 小结/ 130
5.5 其他测试技术/ 131
5.5.1 自动化测试技术/ 131
5.5.2 错误注入测试技术/ 139
5.5.3 分布式自动化测试技术/ 152
5.6 本章小结/ 157
参考文献/ 157
第6 章
整车测试
技术与方法
6.1 整车测评需求分析/ 159
6.2 封闭测试场地平台/ 160
6.2.1 封闭测试场/ 160
6.2.2 动态模拟目标物系统/ 162
6.2.3 定位与数据采集系统/ 163
6.3 开放道路测试系统/ 164
6.3.1 测试方案制定/ 165
6.3.2 数据采集与数据闭环系统/ 165
6.4 本章小结/ 166
第7 章
智能汽车
安全性评估
7.1 基于具体场景的安全性评估/ 169
7.1.1 场景瞬时风险评估方法/ 170
7.1.2 多阶段安全评估/ 180
7.1.3 单个测试场景结果外推/ 181
7.2 基于逻辑场景的安全性评估/ 182
7.2.1 评估要求/ 182
7.2.2 面向逻辑场景评价的危险域识别方法/ 183
7.3 针对被测功能的安全性评估/ 192
7.4 本章小结/ 192
参考文献/ 193
第8 章
智能汽车
综合行驶
性能评估
8.1 测评需求与研究现状/ 195
8.1.1 测评需求/ 195
8.1.2 研究现状/ 195
8.2 测评基本流程/ 197
8.3 典型测试场景矩阵/ 198
8.4 测试方法与流程/ 199
8.4.1 测试方案/ 199
8.4.2 背景车跟驰模型/ 199
8.4.3 测试数据输出/ 201
8.5 评价方法与流程/ 202
8.5.1 评价体系/ 202
8.5.2 评价流程/ 204
8.6 测评示例/ 206
8.7 本章小结/ 209
参考文献/ 209
附 录
附录A 测试工况参数设置/ 210
附录B 背景车跟驰模型/ 212
附录C 归一化方法/ 214
附录D 常见缩写词/ 216
5 . 2 基于场景的测试技术与方法
基于场景的测试通过预定义场景参数确定出具体场景作为测试用例, 根据场景参数赋值方法的不同可分为静态试验设计测试方法和动态试验设计测试方法。
5.2.1 静态试验设计测试方法
静态试验设计是指在测试活动开始前就已经生成完毕所有测试用例的测试策略。传统的测试策略, 包括网格测试、随机测试、组合测试等都属于静态试验设计的范畴。基于静态试验设计的测试方法能够较准确地找到危险域的大小、数量和分布, 但同时会引发参数爆炸的问题。
1 . 网格测试
网格测试即将逻辑场景关键参数离散化, 构建测试网格, 网格中每个点对应一个具体场景。测试过程中依次选取网格点进行测试。这种方法的特点是可重复、测试场景固定, 但会导致参数爆炸问题。图5 -3 所示为二维逻辑场景参数网格图, 图中每个网格点对应一个具体场景参数。其中, 横轴为速度, 参数范围是10 ~20m/ s, 取11 个间隔, 纵轴为距离, 参数范围是10 ~ 100m, 取10个间隔。
图5 -3 二维逻辑场景参数网格图
2. 随机测试
随机测试是指基于逻辑场景的关键参数,构建参数空间,利用随机采样从参数空间中生成具体场景进行测试。这种方法的特点是随机性高,难以重复。
常见的随机测试方法有蒙特卡洛方法,该方法通过随机抽样生成大量的随机样本用于测试。这些样本可以是从已知概率分布中抽取的,也可以是通过随机过程生成的。理论上大量的随机样本可以逼近问题的解,因此这种测试方法理论上可以用于测试系统的安全性。但由于随机采样所需的样本数量巨大,且也会存在类似网格测试面临的参数爆炸问题,故不是一个用于测试系统安全性的理想选择。图5-4所示为一个二维逻辑场景参数空间,在该参数空间中随机生成1000个样本点,每个点对应一个具体场景参数。其中,横轴为速度,参数范围是10~20m/s;纵轴为距离,参数范围是10~100m;黄色代表危险场景对应的具体参数,黑色代表非危险场景对应的具体参数。
图5-4 二维逻辑场景参数空间随机生成具体场景
3. 组合测试
组合测试是一种首先在软件故障测试上应用的测试方法,组合测试方法假设错误是由t个参数相互作用产生的。因此,我们可以选择测试用例,使得对于任意t(t是一个小的正整数,一般是2或者3)个参数,其所有可能取值的组合至少被一个测试用例覆盖。运用组合测试可以显著减少测试用例的数量,并能够直接检测各参数组合对软件的影响。在组合测试方法用于具体场景生成方面,主要通过对场景参数的具体取值进行组合完成场景生成。
下面用一个简单的例子来说明组合测试方法。表5-1描述了一个具有四个场景参数的逻辑场景,该场景的每个参数有3个可选值,使用网格测试方法测试该逻辑场景下被测系统的性能需要34=81个测试用例。
采用两两组合测试准则,测试时仅需要表5-2中的9个测试用例,即可覆盖任意两个参数的所有取值组合。
表5-1 一个具有四个场景参数的逻辑场景
表5-2 组合测试用例
静态试验设计的主要缺陷在于忽视了测试活动中逐步获取的被测系统信息,后续测试用例无法参考已完成用例的测试结果进行设计,是一种基本但低效率的测试方法。
5.2.2 动态试验设计测试方法
动态试验设计是指在测试活动中逐步动态地生成测试用例的测试策略。动态试验设计将测试过程视为一个黑箱函数,其输入和输出分别为测试用例和测试结果,通过引入黑箱优化的思想,使用历史测试结果预测更关键的测试采样位置,指导下一步的试验设计。基于动态试验设计的测试方法能够有效提高测试效率,能够一定程度上解决参数爆炸问题;同时,一些基于动态试验设计的测试方法在危险域大小、数量和分布上也有较好的表现。危险场景搜索方法整体框架如图5-5所示。首先,以逻辑场景参数空间D作为优化算法的输入。其次,基于给定参数空间D,通过优化算法计算采样得到具体场景参数d。然后,依托在环仿真测试平台,根据具体场景参数d生成并运行具体场景。最后,将被测系统在该场景的安全性评价结果r作为优化算法的成本函数值,输出至优化算法。算法根据前一轮结果,调整后一轮的具体场景参数d,反复迭代至试验达到结束条件。同时,根据安全性评价标准,将搜索过程中所有的危险场景输出,得到危险场景集。
图5 -5 危险场景搜索方法整体框架
典型的优化算法可以分为群体智能类算法和代理模型类算法。群体智能类算法是无模型的优化方法,通常仅利用前一个迭代轮次的样本信息,典型的算法粒子群(ParticleSwarmOptimization,PSO)算法[1]、差分进化(DifferentialEvolution,DE)算法[2]、遗传算法(GeneticAlgorithm,GA)[3]等。代理优化类算法是有模型的优化方法,通过维护一个测试过程的代理模型,选择更有潜力的采样点,典型的算法包括贝叶斯优化(BayesianOptimization,BO)算法[4]、基于信赖域的贝叶斯优化[5]、隐动作蒙特卡洛树搜索(LatentActionMonteCarloTreeSearch,LA⁃MCTS)[6]等。
1.PSO算法
PSO算法是Kennedy和Eberhart受人工生命研究结果的启发、通过模拟鸟群觅食过程中的迁徙和群聚行为而提出的一种典型的基于群体智能的全局随机优化算法。在PSO中,每个优化问题的潜在解都是搜索空间中的一只鸟,称为粒子。所有的粒子都有位置、速度和结果三个值,其中位置即输入参数的数值,速度决定粒子飞翔的方向和距离,结果由成本函数计算得到。在每一次迭代中,粒子通过跟踪两个最优值来更新自己:一个是粒子本身的历史最优解,即个体最优;另一个是整个种群的历史最优解,即全局最优。基于个体最优和全局最优,粒子的速度和位置更新计算方法见式(5-1)和式(5-2)。
图5-6PSO算法具体流程
2. BO算法
BO算法是一种典型的解决全局优化问题的算法,目的是找到全局最优解。其优化过程利用了著名的“贝叶斯定理”,通过更新迭代输入与输出的映射概率模型,找到空间中的最优位置。算法计算原理见式(5-3)。
BO算法主要包含两个核心部分———概率代理模型和采集函数。概率代理模型包含先验概率模型和观测模型。先验概率模型即p(f),观测模型描述观测数据生成的机制,即似然分布
更新概率代理模型意味着根据式(5-3)得到包含更多数据信息的验概率分布。采集函数根据后验概率分布构造,通过最大化采集函数来选择下一个最有“潜力”的采样点。同时,有效的采集函数能保证选择的评估点序列使得总损失最小。BO算法原理如图5-7所示,主要分为三个步骤:
1)根据最大化采集函数来选择下一个最有潜力的评估点。
2)根据选择的评估点,评估成本函数值。
3)把新得到的输入和输出值添加到历史观测集中,更新概率代理模型,为下一次迭代做准备。
BO算法相较于MC算法和GS算法,能在更少的评估中获得更好的结果。但随着迭代轮次的增加,代理模型的更新耗时会大幅增加,并且,BO算法在高维空间的性能与MC相近。因此,BO算法仅适用于迭代轮次较少、空间维度较低的优化问题,不适用于高维参数空间。
图5-7BO算法原理
3. 算法性能对比
(1)指标选取
C正确地预测为非关键用例的部分;
的交集,即本身是非关键用例,但被C错误地预测为关键用例的部分。
图5 -8 混淆矩阵
召回率recall表示预测关键用例中真实的关键用例占所有真实关键用例的比例,是覆盖率的自然定义;准确率precision表示预测关键用例中真实的关键用例占所有预测关键用例的比例,它是对召回率的补充。如果仅采用召回率作为算法性能的评价指标,试想这样一种情况:不难构造一个刻意的分类器Cdummy将所有用例都预测为关键用例,那么召回率恒等于1,这就失去了对算法性能进行评估的意义。因此需要综合考虑召回率和准确率。Fα分数是机器学习领域内常用的一个综合指标,它是召回率和准确率的加权调和平均数,α∈(0,+∞)是超参数,用于调节召回率和准确率的相对权重。如果α=1,召回率和准确率具有同样的重要性,α越大,意味着召回率越被重视。解集覆盖问题的目标是覆盖率(即召回率),因此本节中使用了F2分数作为各算法性能的评价指标。
(2)性能对比
为了验证优化算法性能,本节在两种测试函数上对优化算法性能进行验证,具体而言,除了包括前面提到的6个算法之外,还增加了蒙特卡洛(Monte⁃Carlo,MC)搜索算法、SOBOL[7]算法,以及针对动态试验设计测试而改进的改进粒子群算法[8](ImprovedParticleSwarmOptimization,IPSO)和密度自适应隐动作蒙特卡洛集束搜索(Latent⁃ActionMonte⁃CarloBeamSearchwithDensityAdaption,LAMB⁃DA)[9]。MC是一种随机算法,SOBOL与随机算法类似,但其产生的采样在空间中更加均匀。使用MC和SOBOL的目的是体现优化算法的优越性。
黑箱优化领域的研究者们设计了许多测试函数用于算法的性能评估。不同测试函数具备不同的结构和特点,能够针对黑箱优化算法某一方面或某些方面的性能进行有效的检验。本节选取的两个测试函数分别是Holder⁃Table和高斯测试函数。Holder⁃Table是黑箱优化领域内常用的一个测试函数。如图5-9a所示。它定义在二维空间上,方便作为一个演示性的例子;同时存在四个全局最优值,分布在空间的四个角落中,对于算法的全局探索能力很有挑战性;此外,它还存在非常多的局部最优模态,性能较弱的优化算法可能被困于这些陷阱模态中。高斯测试函数也是一个多模态函数,但与Holder⁃Table测试函数不同,高斯测试函数不仅具有多个模态(危险域),而且还具有危险域稀疏性,即除了极小的危险域之外的绝大部分区域的函数值都接近0,如图5-9b所示,这对优化算法的信息利用能力是个很大的挑战。
图5 -9 测试函数示意图
各优化算法在Holder⁃Table测试函数上开展优化搜索,结果如图5-10所示。从图中可以看出,除去做了针对性改进的IPSO算法外,代理模型类算法的F2分数普遍优于群体智能类算法。从图5-11的采样点分布情况可以看出在1500轮采样时,相比其他算法,LAMBDA算法以及BO算法在四个危险域附近进行了大量探索,具备较高的搜索效率和危险域识别准确率。
各优化算法在高斯测试函数上的结果如图5-12所示。从图中也可以看出除了IPSO算法外,代理模型类算法的F2分数普遍优于群体智能类算法。从图5-13的采样点分布情况可以看出IPSO的采样主要围绕两个危险域展开,说明其对危险域识别的准确性较高。
图5-10Holder⁃Table测试函数上采样过程中F2分数变化图
图5-11Holder⁃Table测试函数上1500轮时不同算法采样点分布情况
图5-12 高斯测试函数上采样过程中F2分数变化图
图5 -13 高斯测试函数上1500 轮时不同算法采样点分布情况
本书首先立足于整体现状对智能汽车测试体系架构进行综述， 并针对测试技术的发展趋势和整个核心技术进行详细描述；然后， 针对测试体系中每一测试过程的概念、核心思想、关键技术、测试方法、发展趋势等进行详细描述。
本书可供智能汽车设计人员及测试人员阅读使用， 也可供车辆工程专业及相关专业师生阅读参考。
点击链接手机打开购买 https://mp.weixin.qq.com/s/4QHVGlMIYo4T5itRCIcqlg
作者简介：
陈君毅,2009年毕业于同济大学汽车学院,获工学博士学位,任职于同济大学汽车学院｡长期从事自动驾驶汽车测试与评价方向研究工作,先后主持和参与国家级､省部级项目共11项,并与华为､路特斯､上汽大众､蔚来等企业开展了深度校企合作研究｡近5年,在国内外学术期刊和国际会议上共发表SCI/EI检索论文近30篇,其中以第一作者或及通讯作者发表的为20余篇;申请发明专利30余项(已授权7项)｡担任SAE汽车安全和网络安全技术委员会秘书､功能安全和预期功能安全分委会主席;是自动驾驶测试场景国际标准(ISO3450X)支撑专家组成员,以及CAICV联盟预期功能安全工作组核心成员;担任《汽车工程》和《汽车工程学报》青年编委委员,IEEE Transactions on Intelligent Vehicles､Proceedings of the Institution of Mechanical Engineers, Part D: Journal of Automobile Engineering､《中国公路学报》､《汽车工程》､IEEE Intelligent Transportation Systems Conference､IEEE Intelligent Vehicles Symposium等国内外期刊和国际会议审稿人,曾于多项国际学术会议担任分论坛主席｡
版权信息:
智能汽车测试技术 / 陈君毅等著. -- 北京 : 机械工业出版社, 2025. 5. -- (智能汽车关键技术丛书).ISBN 978-7-111-77871-4 Ⅰ. U467 中国国家版本馆CIP数据核字第2025X8D229号
本书由机械工业出版社出版，本文经出版方授权发布。
来源：汽车测试网
