今年3月，包括Uber、Cruise、Aurora、Argo AI和Lyft在内的许多知名初创企业和子公司暂停了对其自主车队的真实测试，理由是出于安全考虑，并希望限制驾驶员和乘客之间的接触。Waymo更进一步，宣布将暂停其在亚利桑那州菲尼克斯市的商业Waymo one运营，包括其不需要驾驶人的全无人驾驶汽车，直到另行通知。
这些中断带来了巨大的工程挑战：如何在车队停飞数月或更长时间的情况下，复制真实世界汽车收集的数据。这个问题以前从未解决过，一些专家认为这是不可克服的。就连Waymo首席执行官约翰克拉夫西克（John Krafcik）也曾表示，在无人驾驶汽车开发中，现实世界的经验是“不可避免的”。
但一些业内最大的公司，包括Waymo，无论如何都在努力。
数据是新的石油
实际上，每一个自主车辆开发管道都严重依赖安装在汽车外部的传感器，包括激光雷达传感器、摄像机、雷达、惯性测量单元（IMU）、里程传感器和GPS。这些数据被用来训练支持无人驾驶汽车感知、预测和运动规划能力的机器学习模型系列。这些系统能够理解世界和其中的物体，并决定车辆最终所走的道路。
例如，特斯拉编写了一个由上万个被遮挡的停车标志组成的语料库，教一个模型在野外识别相似的标志。克鲁斯使用合成和真实世界的音频和视频数据的组合来训练一个检测警车、消防车、救护车和其他紧急车辆的系统。
真实世界的数据收集还需要绘制地图，在自主车辆的背景下，地图是指创建道路、建筑物、植被和世界上其他静态对象的三维、高清晰度、厘米级地图。在一个新的地点进行测试之前，Waymo和Cruise等公司将部署配备传感器的手动汽车来绘制无人驾驶汽车可能走的路线。这些地图有助于车辆在世界范围内进行自我定位，还提供有价值的上下文信息，如速度限制、车道和人行横道的位置。
代替这一切的是，自主汽车公司必须依靠他们收集到的最新数据，以及这些数据的干扰或修改，来进行系统开发和评估。巧合的是，这些公司中的许多已经投资于模拟，以将测试规模扩大到现实世界之外。
模拟
Waymo
Waymo说，它在Carcraft模拟平台上每天行驶2000万英里，相当于在公共道路上超过100年的真实驾驶。此外，该公司还表示，其自主汽车软件包Waymo Driver迄今已累计完成150亿英里的模拟自主里程。这一数字高于截至2019年7月的100亿模拟自主里程。
Waymo的模拟和自动化产品负责人Jonathan Karmel告诉VentureBeat：“在（Carcraft）中有很多信息。“这就是为什么我们在内部使用一系列工具来提取最重要的信号——最有趣的里程和有用的信息。”
Waymo工程师利用基于网络的界面与Carcraft模拟互动，利用真实世界的数据为边缘案例做准备，探索创意，从Waymo在25个城市超过2000万英里的公路上自主选择遭遇战。随着软件和场景的发展，保持Waymo驱动程序周围的环境保持最新保持真实性。这需要对代理行为建模，并使用对虚拟汽车的新位置做出响应的反应代理（如其他汽车、骑自行车的人和行人）。
Waymo说，它还为更新环境中的汽车和模型场景合成真实的传感器数据。当它的虚拟汽车在现实世界中以同样的方式行驶时，工程师们修改场景并评估可能的情况。他们还通过在场景中添加新的代理人（如骑自行车的人）或者通过调节迎面而来的交通速度来判断Waymo司机的反应来操纵这些场景。
随着时间的推移，模拟场景通过大量变化被放大，以评估Waymo驾驶员的期望行为。这些信息被用来提高安全性和性能。卡尔梅尔说：“我认为传感器模拟工作能够（增加）我们的真实世界里程。”。“我们有能力随着情况的变化逐步了解真实世界，随着我们不断做出改变以改善（我们的系统）性能的状态，我们继续在模拟中（创造）新的挑战。”
除了构建由真实驾驶数据通知的场景之外，Waymo还部署了从其私有测试轨道捕获的从未经过测试的合成场景。该公司说，这使它能够继续扩大它可以模拟的英里数。根据Karmel的说法，大部分的学习和开发都是在模拟中完成的，远远早于Waymo驱动程序的更新版本进入现实世界的道路。
这些学习和发展过程中经常被忽视的一个方面是舒适。Waymo说，它评估了多种“舒适度指标”，比如人们对车辆各种驾驶行为的反应。这种道路测试反馈用于训练人工智能模型，并在仿真中运行它们，以验证不同的场景如何影响驾驶者的舒适性，从确定理想的制动速度到确保汽车平稳行驶。
“我们……开始更好地了解使驾驶舒适的部件，”卡尔梅尔解释说。“一些关键部件是诸如加速和减速之类的，我们希望将这些信息输入到仿真中，以预测我们认为真实世界中的骑手或驾驶员的反应。有一个机器学习模型可以预测（Carcraft）中的那些反应。”
除了Carcraft，Waymo的工程师们还开发了内容搜索、基于人口的渐进式增强（PPBA）和基于人口的培训（PBT）等工具，以支持各种开发、测试和验证工作。内容搜索利用了类似于谷歌照片和谷歌图像搜索的技术，让数据科学家在Waymo的驾驶记录和日志中定位对象。PBT是与Alphabet的DeepMind合作设计的，它从多个机器学习模型开始，用“子代”替换表现不佳的成员，以减少行人、自行车和摩托车识别任务中24%的误报。对于PPBA，它在降低成本和加快训练过程的同时，增强了目标分类器的性能，主要是因为它只需要带注释的lidar数据进行训练。
Cruise
Cruise还运行了大量的模拟——每天在谷歌云平台上运行大约20万小时的计算作业——其中一个是一个端到端的三维虚幻引擎环境，Cruise员工称之为Matrix。它使工程师能够建立任何他们能够想象的情况，并合成传感器输入，如摄像机镜头，激光雷达，和自动虚拟汽车的雷达馈送。
艾侯赛因·梅汉纳（AI Hussein Mehanna）的巡游负责人在接受文图里贝特（VentureBeat）采访时说：“操控长尾是自动驾驶汽车成为这个星球上最困难、最令人兴奋的人工智能问题之一的原因，也是我们期望自动驾驶汽车及其基础车型达到极高性能水平的原因。”。“当你查看训练数据时，你有成千上万的激光雷达扫描点、高分辨率图像、雷达数据以及来自各种其他传感器的信息。所有这些都需要大量的基础设施。”
Cruise每天在超过300000个处理器核和5000个显卡上旋转30000个实例，每个实例循环通过一个驱动器的场景值，并生成300兆字节的结果。（这基本上就像有30000辆虚拟汽车同时行驶）在其他测试方法中，该公司采用了重放（replay）技术，包括提取真实世界的传感器数据，将其与汽车的软件进行回放，并将其性能与人类标记的地面真实数据进行比较。它还利用了规划模拟，通过调整诸如迎面驶来的汽车的速度和它们之间的空间等变量，Cruise可以创建多达数十万种不同的场景。
根据Cruise公司的仿真副总裁Tom Boyd，工程师们可以选择对场景的哪些元素进行建模，以及对它们进行建模的粒度。例如，他们衡量模拟轮胎打滑（这取决于汽车的里程数、道路状况，甚至车轴上使用的金属）是否比模拟汽车挡风玻璃和后视镜的激光雷达反射或雷达多路径返回更重要。
Cruise管理模拟权衡的另一种方法是通过满足不同精度测试要求的框架。那些不需要三维图形的设备可以在商品硬件上运行，实时性高达100倍。“没有一个车辆动力学软件模型是完全准确的，”博伊德说。“它们可能变得复杂，我们很容易花上几个月的开发工作来解决（自动驾驶汽车）在模拟和道路上的行为之间极微小的差异。”
Cruise工程套件中的工具包括基于web的Webviz，它起源于一个hackathon项目，现在每月大约有1000名在职员工使用它。最新的生产版本允许工程师保存配置、共享各种参数，并在远程服务器上运行时观看车辆模拟。还有worldwiew，一个轻量级和可扩展的2D/3D场景渲染器，可以让工程师快速构建自定义的可视化效果。
Aurora
Aurora是由前Waymo工程师Chris Urmson创建的一家自动驾驶汽车公司，该公司表示，其虚拟测试套件平台内的虚拟汽车平均每天完成100多万次测试。该平台和其他工具使公司的工程师能够快速识别、审查、分类并将大多数事件和有趣的道路场景转换为虚拟测试，并运行数千个测试来评估对主代码库的单个更改。
虚拟测试套件由代码库测试、感知测试、手动驾驶评估和模拟组成。工程师编写单元测试（例如，查看计算速度的方法是否给出了正确的答案）和集成测试（例如，查看同一方法是否适用于系统的其他部分）。新工作必须通过所有相关的测试，然后才能与较大的代码合并，从而允许工程师识别和修复任何问题。
模拟中的一系列专门的感知测试是从真实世界的日志数据中创建的，Aurora说，它正在开发“高度真实”的传感器模拟，以便能够为不常见和高风险的场景生成测试。他们在虚拟测试套件中定期运行的其他实验评估了极光驱动程序（极光的全堆栈无人驾驶平台）在一系列驾驶基准上的性能。
无论测试的性质如何，自定义设计的工具都会自动从极光的日志数据中提取信息（例如，行人行走的速度），并将其插入到各种仿真模型中，以节省工程师的时间。
该公司表示，自Aurora停止所有真实世界的测试以来的几个月里，该公司的车辆运营商已与其分类和标签团队联手，为可以转化为模拟虚拟测试的道路活动挖掘手动和自动驾驶数据。Aurora还表示，它正在构建新的工具，例如一个web应用程序，旨在让工程师更容易进行模拟，并正在增强现有的管道，以支持创建新的测试场景。
另外，一位发言人告诉VentureBeat，Aurora的工程师们正在继续建立和完善公司的车辆地图——Aurora Atlas，在这些区域，Aurora驾驶员将在恢复道路测试时进行操作。他们正在将新地图添加到云图（Cloud Atlas）中，这是一个版本化的数据库，专门用来保存Atlas数据，利用机器学习模型自动生成诸如红绿灯之类的注释。
人工智能和机器学习的进步使得教汽车驾驶人员在模拟中驾驶前所未有的道路变得更加容易。在最近的一篇技术论文中，麻省理工学院计算机科学和人工智能实验室的研究人员描述了一种与极光不同的方法，它涉及虚拟图像合成和自动转换（VISTA），一个真实感的模拟器，它只使用真实世界的语料库从潜在的车辆轨迹合成视点。VISTA能够训练一个模型，让汽车在以前看不见的街道上导航——即使汽车的定位方式模仿了撞车事故。
厄姆森在一份声明中说：“我们预计COVID-19在长期内不会推迟我们的进展，这主要是由于我们在虚拟测试方面的投资，但它已经证明了自动驾驶交通的紧迫性，这种交通可以在不需要人驾驶的情况下安全快速地运送人和货物。”。“这就是为什么我们比以往任何时候都更加致力于我们的使命，并继续聘用所有学科的专家，向公司的每个人支付报酬，并找到方法推进极光驱动程序的开发。当我们的行业走到一起时，聪明才智、奉献精神和深思熟虑的领导才能将帮助我们度过这些充满挑战的时代。”
优步 Uber
Uber的先进技术集团（ATG）是Uber自主汽车项目的领头羊，该部门保留了一个团队，该团队根据测试轨迹和道路行为数据不断扩展Uber模拟器内的测试集。ATG系统工程和测试主管Adrian Thompson告诉VentureBeat，每次对自动驾驶系统的软件进行任何调整，都会自动针对全套模拟测试重新运行。
ATG工程师使用诸如DataViz这样的工具，这是ATG与Uber的数据可视化团队合作开发的一个基于网络的界面，以查看模拟中的汽车如何解释和感知虚拟世界。DataViz提供汽车、地面图像、车道标记和标志等元素的真实表示。对于算法生成的信息（如对象分类、预测、规划和外观）的抽象表示（通过颜色和几何编码）也是如此。它们使员工能够检查和调试从离线和在线测试中收集的信息，并在创建新场景的过程中探索信息。
汤普森说，优步在过去两年里加快其建模和仿真工具开发的决定正在带来回报。他说，在某种程度上，该公司目前正在使用超过200万英里的传感器日志，并通过模拟来完成“绝大多数”的人工智能培训和验证。
汤普森说：“由于没有公路运营，我们的人工智能模型开发轨迹几乎没有受到干扰。“我们的测试跟踪测试是为了验证我们的模型，因此我们能够在这段时间内保持（如果不是加速的话）我们的开发速度。”
也许并不奇怪，汤普森还说，Uber模拟环境中的虚拟汽车比大流行前行驶了更多英里。他并没有把这归咎于健康危机本身，但他说COVID-19提供了一个继续进行规模模拟的机会。
“我们已经制定了完善的战略计划，以进一步扩大我们的模拟里程。他补充说：“我们基于模型的开发方法使我们的业务更能应对这种流行病，这部分是偶然的。”。“在可预见的未来，我们将继续快速扩展我们的模拟能力，即使大流行已经过去，我们也没有减少模拟行驶里程的计划。”
Lyft
Lyft当时正在开发一个新的汽车平台，但它被迫停止了所有的实际测试。尽管如此，Lyft的5级自动驾驶部门的工程总监Jonny Dyer告诉VentureBeat，该公司正在通过利用其真实世界中的自动驾驶汽车所行驶的大约10万英里的数据，并在验证之前校准其模拟环境，在模拟上“加倍努力”。
具体来说，Lyft正在改进它在模拟中使用的技术，以指导代理（如虚拟行人）对车辆做出真实的反应，部分是通过人工智能和机器学习模型。它还构建了一些工具，比如基准测试框架（benchmarking framework），使工程师能够比较和改进行为检测器的性能，以及动态更新可视化的仪表板，以帮助创建多样化的模拟内容。
戴尔说，Lyft并没有把重点放在模拟相机、激光雷达和雷达传感器数据等挑战上，而是放在传统的基于物理的机制上，以及帮助识别正确的模拟参数集的方法上。他说：“这不是模拟模型的比例尺游戏——实际上更多的是用高保真度模拟正确的里程。”。“我们专注于逼真度方面，让模拟更接近于告诉我们真实驾驶所做的事情类型。这不仅仅是模拟大量的英里数，而是模拟正确的英里数。”
根据戴尔的说法，Lyft还重新制定了验证策略，在结构和动态模拟等方面更为重视。在这些步骤之前，该公司曾计划进行真实世界的测试——而且它仍将以一定的能力——但这次关闭迫使其硬件工程师将工程转向模拟。
例如，一位高级计算机工程师在卧室里安装了一台高性能服务器，该服务器运行着Lyft的自主汽车技术堆栈（其中包含8张图形卡和一个强大的x86处理器），4个书桌风扇在上面吹气以保持其凉爽。另一位工程师在车库里用他在eBay上购买的覆盆子Pi和电路板搭建了一个电解腐蚀装置。另一位工程师将自家后院的蟋蟀场改造成了激光雷达传感器范围，并使用全尺寸的路标对Lyft计划集成的新传感器进行校准。
行业挑战
尽管COVID-19停飞的自主汽车公司做出了巨大的努力，但似乎仍有一些公司可能会从这场流行中脱颖而出。一些专家断言，模拟不能代替在真实道路上的测试。
在涉及真实数据的模拟中，一个长期的挑战是每个场景都必须对自动驾驶汽车的运动做出响应——即使那些运动可能没有被原始传感器记录下来。无论照片或视频没有捕捉到什么角度或视点，都必须使用预测模型进行渲染或模拟，这就是为什么模拟历史上一直依赖于计算机生成的图形和基于物理的渲染，这些渲染有点粗糙地代表了世界。（引人注目的是，即使是Wayve，一家总部位于英国的独立于模拟训练的自驾车模型的创业者，也依赖于安全驾驶者的反馈来调整这些模型。）
卡内基梅隆大学（Carnegie Mellon）的研究人员发表的一篇论文概述了阻碍现实世界硬件开发的其他模拟挑战：
现实差距：模拟的环境并不总是能充分地反映实际情况——例如，缺乏精确轮胎模型的模拟可能无法解释高速转弯时真实的汽车行为。
资源成本：模拟的计算开销需要像图形卡这样的专用硬件，这导致了高云成本。根据最近的一份同步报告，培训一种最先进的机器学习模式，如华盛顿大学格罗弗分校（University of Washington's Grover），它可以生成和检测假新闻，在两周的时间内花费超过25000美元。
再现性：即使是最好的模拟器也可能包含不确定的元素，使再现测试成为不可能。
事实上，Yandex继续在莫斯科等允许的公共道路上运行其自动驾驶汽车，该公司表示，尽管模拟可以帮助自主汽车的开发，但公共测试仍然至关重要。该公司声称，转向完全模拟程序而不进行路试将在短期内减缓自主汽车开发的进程，因为开发100%准确度和复杂性的模拟可能需要与开发自动驾驶技术本身同样多的问题解决和资源。
Yandex的一位发言人告诉VentureBeat：“如果没有真实世界的测试，自动驾驶公司将无法收集关键的真实驾驶数据。”。“[此外，]驾驶模拟和在试车跑道上运行车辆有助于证明车辆在实验室环境中满足特定要求。在公共道路上驾驶会呈现出自动驾驶平台需要面对的更加复杂、真实的动态，包括不同的天气条件以及各种行人和驾驶员行为。”
除了将自动驾驶系统暴露在这些复杂的动态环境中之外，Ars Technica的Timothy B.Lee指出，测试确保传感器和其他硬件的故障率较低；汽车将使用安全的乘客接送地点；车队运营商受过良好的培训，能够处理任何突发事件。它还允许公司识别可能出现的问题，例如是否有足够的车辆可用于高峰时段服务。
戴尔并不完全不同意这些观点，但他对模拟测试的前景普遍比较乐观。他说，模拟非常适合在测试轨道数据上进行结构化和功能性测试，这些数据构成了Lyft自主车辆路线图的很大一部分。
“事实是，所有的模拟都有一定的局限性，因为你必须校准它，并根据实际情况验证它。……它不会很快取代开车上路[因为]你不能在模拟中做所有事情。但我确实认为，我们在模拟环境中取得了巨大进展。“在这方面，大流行一点也没有受挫。这些大型工程项目中有很多基本的东西，比如技术债务和基础设施，你想解决，但是当你在一个运营项目中时，这些东西就变得很难解决了。在我看来，投资这些项目将在我们回来后获得巨大回报。”
波士顿咨询集团（Boston Consulting Group）高级合伙人兼董事总经理布莱恩•科利（Brian Collie）等持怀疑态度的人士预计，这场大流行将使无人驾驶汽车技术的商业化至少推迟三年。福特今天宣布，它将把推出自主汽车服务的计划推迟到2022年；福特一直在与Argo AI合作，并通过试点项目Postmates、沃尔玛、多米诺骨牌和当地合作伙伴测试其上市战略。
Karmel承认道路上可能会有颠簸，特别是Waymo的测试暂停，但他自信地说，大流行并没有对计划中的推广造成实质性影响。
卡梅尔说：“如果你只是专注于合成里程，而不开始带来一些现实主义，你在现实世界中驾驶，它实际上变得很难知道你在现实主义曲线上的位置。”。“也就是说，我们所要做的就是尽可能多地学习——在这段时间里，我们仍然获得了数千年的经验。”
作者：KYLE WIGGERS@KYLE_L_WIGGERS APRIL 28, 2020 7:00 AM
摘自：venturebeat
来源：自动驾驶测试验证技术创新论坛
