ADAS的MR混合现实应用_汽车技术_

增强现实AR是把把虚拟世界叠加到现实世界，混合现实MR（Mixed Reality）则是把真实的东西叠加到虚拟世界。微软在今后的5到10年，将全力做MR。微软在MR领域铺了5000多研发人员，苹果有3000多人。

AR和MR听起来好像差不多，都是把现实和虚拟混到一起，其实差别很大。因为把虚拟叠加到现实里比较容易，现在连游戏都有了，就是在真实的画面上显示虚拟的东西就行。

MR要把现实叠加到虚拟里，就比较难。因为首先得把现实的东西虚拟化，也就是先得用摄像头捕捉画面，但摄像头捕捉的画面都是二维的，画面是扁平的，没有立体感，所以还得把二维的图像通过计算机形成三维的虚拟图像，叫3D建模。只有把现实物体虚拟化之后，才能把它很好地融合进虚拟3D世界里面。

2020CES上， Futurus展出了混合现实全景显示器，这款产品获得了 CES 2020 创新奖。据Futurus介绍，它能将道路信息、娱乐信息及人工智能助理形象等投射到透明挡风玻璃上，还能整合包括激光雷达、毫米波雷达、摄像头在内的诸多传感器，透明显示ADAS功能。

本文摘编自德国汽车软件公司Apostera技术负责人Sergii Bykov 在2019年发表的演讲。Apostera总部位于德国慕尼黑，在东欧设有研发中心，亚洲有办事处，主要产品是以ADAS为基础的MR方案。Apostera为ARHUD、导航供应商和原始设备制造商提供混合现实（MR）解决方案，这一方案基于增强现实、机器学习、计算机视觉和传感器融合技术，为传统导航系统增加智能分析能力。

Apostera公司的软件将现实世界与虚拟世界结合起来，基于前视相机和全景显示的帮助与数据智能融合，提供混合现实导航，保障行车路径安全和事故提醒。Apostera已经可以与TomTom导航工具集成，在驾驶时应用混合现实，以在HUD中突出显示最佳路线的车道。

Apostera参与实施的项目包括：

一、ADAS的挑战和Apostera的应对方案

当前的ADAS嵌入式平台面临如下挑战：

能耗及性能
--侧重于性能且能耗较低
低延迟及高频率响应
--对环境变化做出快速反应对于实时工作至关重要
鲁棒性及质量
--在有难度的操作情况下保证鲁棒性及高质量
--要求一系列验证场景及自适应探索(heuristics)
需要专用嵌入式实时系统架构
--为实时要求和可移植性设计以适合最有效的硬件平台
硬件及软件传感器融合
--融合可用的数据源（传感器，地图等）以保证鲁棒性及质量
大数据分析
--大量数据需存储用于开发及测试
现场和非现场自动驾驶测试
--自适应启发式开发
--系统验证
--收集特殊案例

ADAS机器学习（Machine Learning, ML）也面临以下五个方面的挑战：

机器学习需要大量高质量数据
--有必要保证ML更高稳定性及精确度；
--某些任务没有海量数据，限制了ML使用
AI 及期望
--理解技术的局限性
--解决替代人类工作的期望
即将量产
--从模型化过渡到量产化的AI解决方案
目前的ML不理解语境
--实时本地数据分析需求增加
--需快速再培训ML模型以理解新的数据
机器学习安全性
--解决安全问题，比如信息完整性

Apostera系统的亮点在于

硬件与传感器无关；
融合/可视化可信度估计；
实时且资源消耗低；
延迟补偿及预测模型：
可为不同的OEM设计不同的配置；
可配置逻辑需求（包括模型及地区）：
--用户界面逻辑考虑可信度及输入数据的可能性；
--考虑动态环境和物体遮挡的逻辑
与不同的导航系统和地图格式集成
--地图数据不精确补偿；
--精确、相对及绝对定位

MR对ADAS摄像头有一定的要求：低延迟，占用空间小，低能耗，高可靠度。

下表是部分ADAS摄像头采用的传感器参数对比：

ADAS混合现实应用中，传感器融合至关重要。Apostera开发了融合滤波器参数调整问题的解决方案，以适应具有不同底盘和转向轮模型/参数的不同车型。方案有以下功能特点：

绝对及相对定位；
导航推算；
与车规级传感器（如GPS，方向盘，方向盘速度，轮毂传感器）融合；
导航数据融合；
复杂的方向盘模型确认，且可与现有模型集成；
GPS纠错；
复杂条件（隧道，城市峡谷）下具备稳定性及鲁棒性

该方案利用先进增强目标定位技术，解决地图精度问题。

MR混合现实中的车道检测包括如下工作：

低水平不变特征：
--单一摄像头；
--双目数据；
--点云
结构分析
概率模型：
--真实世界特征；
--实物；
--3D场景重建；
--道路情况
3D空间场景融合（不同传感器输入）
环境模型传播

Apostera正在进行的工作包括更多种类（物体）检测及可行驶区域检测。道路物体检测在保证当前检测质量的基础上，增加了交通信号识别（探测器+分类器）和交通信号灯识别。

可行驶区域检测运用语义分割，模型基于Squeeze-net 和U-net, 目前运行参数（Jetson TX2）为输入640*320（lowres）,处理速度75ms/frame。

二、目标检测算法

目标检测常用的深度神经网络算法（DNN）的对比如下图所示，检测框架包括SSD、Faster RCNN、R-FCN，特征提取器采用了MobileNet，Inception V3, Resnet 101等进行对比。

SSD（Single shot multibox detector）将边界框的输出空间离散化为不同长宽比的一组默认框和并缩放每个特征映射的位置。在预测时，网络会在每个默认框中为每个目标类别的出现生成分数，并对框进行调整以更好地匹配目标形状。

相对于需要目标提出的方法，SSD非常简单，因为它完全消除了提出生成和随后的像素或特征重新采样阶段，并将所有计算封装到单个网络中。这使得SSD易于训练和直接集成到需要检测组件的系统中。

SSD模型架构

MobileNet作为一个特征提取器，使用深度可分离的卷积来构建轻量级深度神经网络。通过两个全局超参数，可以在延迟和准确性之间高效地进行折衷。这些超参数允许模型构建者根据问题的约束为其应用程序选择合适的大小模型。在资源和精度折衷方面进行了广泛的实验，并且与ImageNet分类上的其他流行模型相比，显示了强大的性能。MobileNets有广泛的应用和案例，包括对象检测，细粒度分类，人脸属性和大规模地理定位等方面证明有效。

SSD-MobileNet组合模型的质量从以下几个方面考虑：

速度及精确度：SSD-MobileNet 在针对实时处理的模型中拥有mAP优势。
特征提取：特征提取器的精确度决定探测器的精度，但对于SSD来说不是很重要。
目标体积：对于体积大的目标，SSD在只有一个简单提取器的情况下表现更好，在有更好的提取器情况下甚至能够匹配其他探测器的精度。但对于体积小的目标而言SSD和其他方法相比不具备优势。
输入图像的分辨率：更高的分辨率可极大地改善体积较小的目标检测，对于体积较大的目标也有帮助。分辨率减少2倍，精度将降低；减少3倍，推理时间也将减少。
内存使用：MobileNet占用很小的RAM空间，总计内存少于1Gb。

SSD-MobileNet 检测质量