三、Segmentation

3.1 多模态融合的map分割

• 题目：A Simple baseline for BEV Perception Without LiDAR（2022， MIT）

作者的出发点： 在BEV上通过BEVFORMER的方式"无参数化"地完成Lift操作(将图像特征转换到BEV空间)，融合雷达点云特征图，用于分割任务，性能超越了之前的分割模型。

1. 网络结构：

• 论文如其名，网络结构比较简单，可以看出很多论文的影子(例如BEVFORMER)，作者就是通过显式的BEV-Queries采样图像特征，并且concate雷达特征并通过卷积进行模态对齐与融合，后面用于分割任务。

1. 总结分析：

• 雷达信息处理：

雷达feature-map构成：0\1的occupy map，nuscenes提供的所有特征(RCS,X,Y,Z,V...)作为输入concate到一起作为输入特征。检测范围是[-100, 100m]，网格的大小是200x200。

• 性能提升

• 和主流的工作相比，作者的确在分割上提升非常大，作者将这归功于毫米波的功劳，

• 消融实验

总结为三点：对于分割任务，输入过多的属性提升不明显(occupy only已经达到53)，对multi-path的毫米波雷达点滤除反而导致性能下降(意料之中，因为multi-path的毫米波虽然会导致噪声，但是其扫描到的物体可能正是位于被遮挡的区域)，增加sweeps的数量性能也会提升(毕竟点云密度大了)。

四、密集点云生成

4.1 GAN

4.1.1 通过密集点云监督radar生成密集点云

See Through Smoke: Robust Indoor Mapping with Low-cost mmWave Radar (2020， 斯坦福)

4.2 Lidar Supervision

4.2.1 激光雷达点云监督毫米波生成occupy grid map

Radar Occupancy Prediction With Lidar Supervision While Preserving Long-Range Sensing and Penetrating Capabilities作者的出发点： 通过lidar这种数据质量较高的模态，监督毫米波雷达生成质量较高的占据栅格地图，解决在这个过程中的两个问题：一解决occupy网格生成存在于传感器之间的内生性问题：传感器感知距离不一，传感器穿透性不一问题；二解决长距离网格生成问题；生成的occpy grid map可用于下游的路径规划等问题。

1. 本文一些基本定义：

• 极坐标系与笛卡尔坐标转化

  作者以笛卡尔坐标系的x,y中心为极坐标系的中心，笛卡尔坐标系的一周等同于极坐标系的一段(如下图所示的蓝色红色对应关系)

• 作者将radar中lidar的感知区域定位trainning-region，将其他范围内的毫米波点云作为inference的输入，如下图所示

• 毫米波雷达噪声来源：

  multipath reflection(多路径感染，在交通道路环境下工作的雷达越来越密集，其间产生的多径干扰会导致雷达出现虚假目标), speckle noise, receiver saturation, and ring-shaped noise

  关于以上噪声的成因：https://zhuanlan.zhihu.com/p/407095772

• 本文各类颜色含义

来源：自动驾驶之心