编者按
降雨是自动驾驶环境感知系统面临的高暴露、高风险触发条件之一，其复杂的物理特性会导致图像模糊、激光信号衰减及毫米波散射等现象，从而影响目标检测与环境识别等核心任务的稳定性与安全性。为了系统揭示降雨强度对多传感器感知性能的影响，本团队构建了基于真实降雨的多传感器数据集——「RainSense」。该数据集通过集成摄像头、激光雷达与4D毫米波雷达，并引入激光雨滴谱仪实现雨强的精确标注，共采集728组典型场景样本，覆盖从无雨到暴雨的五个等级，雨强跨度为0到20mm/h。
RainSense旨在作为评估多传感器感知系统在降雨条件下鲁棒性的基准数据集，为算法性能衰退规律研究提供参考框架。通过应用数据集样本案例开展量化分析可见：随雨强增加，视觉与激光雷达的感知性能显著下降，而毫米波雷达在强降雨条件下表现出较高的鲁棒性。RainSense的构建为自动驾驶感知系统的雨天性能评估与算法鲁棒性研究提供了高质量的数据支撑。
RainSense数据集可由网站直接获取：https://github.com/IVtest-Lab/RainSense/。数据集包含静态点位采集获得图像数据（jpg文件）、激光点云数据（csv文件）、毫米波点云数据（csv文件）以及标注位姿（txt文件）等其他信息，数据集将会持续更新。数据集论文已被SAE 2025汽车智能与网联技术学术会议（ICVS 2025）收录，预计于2025年年末正式见刊于会议论文集。
内容概览 1. 背景2. 数据集介绍3. 数据集应用4. 总结与展望
1、背景
随着自动驾驶技术逐步向数据驱动范式演进，感知数据集已成为算法性能提升与系统鲁棒性评估的基础支撑。近年来，多模态感知数据集的规模与多样性不断扩大，但在包含降雨在内复杂天气条件下的数据采集与精确标注仍面临诸多挑战，限制了感知算法性能的测试评估与迭代升级。
1.1 相关感知数据集
针对降雨这一高风险触发工况，现有公开数据集普遍缺乏带有精确雨强标注的多传感器数据，难以支撑感知衰退机理的定量研究。
表1 相关感知数据集对比
1.2 降雨条件感知性能衰减研究
在缺乏大规模真实数据的背景下，部分研究通过物理模拟或GAN增强等方式评估感知衰减规律，虽具可控性但真实性受限；而真实降雨下开展的相关研究面临实时雨强难以获取的挑战。
表2 降雨条件感知性能衰减研究汇总
1.3 工作贡献本工作的贡献如下：
构建自然降雨多传感器数据集：提出「RainSense」数据集，涵盖多等级真实降雨场景，融合摄像头、激光雷达与毫米波雷达的同步感知数据，并提供高精度雨强标注，为降雨环境下的感知鲁棒性研究提供了开放基准。定量分析传感器性能衰减规律：应用「RainSense」数据集，基于多维感知指标，对三类传感器在不同降雨等级下的性能表现进行系统量化分析，揭示了视觉、激光雷达与毫米波雷达在降雨环境下的性能衰减规律。
2、数据集介绍
RainSense是针对不同降雨强度下传感器性能评估而设计的专用数据集，因此采集过程严格控制采集条件。其核心原则是在确保采集场景的一致性，包括预设的交叉路口和数据采集点、相似场景背景以及相同感知目标物，从而支持不同降雨强度下感知性能衰减规律的量化分析。
2.1 传感器配置
为构建带有雨强标签的感知数据集，使用如下传感器配置进行数据采集，如图1所示。
针对感知数据：搭建多传感器采集平台，包括一台三维激光雷达、一个前置彩色摄像头和一台4D毫米波雷达，针对实时雨强：引入激光雨滴谱仪，实时输出与感知数据时序对齐的雨强数据，设备雨强测量原理如图2所示。
图1 数据采集平台与传感器
图2 激光雨滴谱仪雨强测量原理
数据采集平台上的三类传感器均通过OpenCalib平台完成标定，包括激光雷达、摄像头与4D毫米波雷达的坐标系转换矩阵，及摄像头的内参矩阵与畸变系数。
2.2 采集设置
RainSense的数据采集具体设置如下所示（示意图见图3）：
采集场景选择传感器布置：在路口一侧预设点位处布置感知数据采集平台，并在平台附近布置激光雨滴谱仪同步记录降雨强度信息。感知目标物设置：以同一假人目标作为感知对象，在各场景中分别放置于采集平台正前方20m与40m的预设点位处。
图3 数据采集设置
其中，选取路口静态场景并使用假人目标物的核心原因在于确保感知数据的一致性和可比性。通过使用静态场景与固定目标物，我们能够系统地比较不同降雨强度下的传感器性能，而不会引入由场景变化（背景、运动、位姿等）与目标物差异（大小、材质、颜色等）导致的波动。
2.3 数据采集结果与存储格式RainSense共收集728组多传感器感知数据，其中包含无雨145组、小雨214组、中雨204组、大雨98组、暴雨67组。各降雨等级下样本分布如图4所示。
图4 数据采集结果
RainSense的数据结构采用分级存储方式：按降雨等级、采集场景及10s基础样本切片依次组织数据，并在每个Case中保存传感器数据、雨强标注、标定信息与时间戳。针对场景中的假人目标物，采用KITTI格式进行2D与3D标注，保存在对应的label文件夹中。
图5 数据存储格式
3、数据集应用
应用RainSense数据集，对三类传感器在不同降雨等级下的感知性能衰减开展定量分析。以距离传感器前方20m处的假人目标作为感知对象，并根据各类传感器的特性选取感知指标，用于量化降雨对感知性能的影响。
3.1 摄像头
随着降雨等级的增加，摄像头因镜头水渍逐渐出现模糊化的情况，环境背景出现潮湿积水，图像整体对比度亮度相对下降，如图6所示。
图6 不同降雨等级图像数据对比
针对摄像头在降雨下的性能衰减情况，分别从「图像质量」与「目标检测」层面，选取指标进行量化分析，如表3所示。
图像指标：由于降雨会造成像素细节的模糊化，选取指标量化图像模糊化程度。检测指标：选取开源视觉检测算法，进行假人目标物的检测性能分析。
表3 视觉感知性能指标
选取DINO、RTMDet与YOLOX三款开源算法进行假人目标物的检测任务。三款算法由Mmdetection平台进行部署，均基于MS COCO数据集进行预训练。
不同降雨等级下视觉感知指标的计算结果如图7所示。
图像指标：检测指标：三款算法在检测性能的衰减表现上各异。RTMDet对降雨强度最敏感，大雨与暴雨下漏检率超过0.2。RTMDet与YOLOX在小雨与中雨时分类置信度与IoU基本稳定，但到大雨等级开始明显下滑，反映水渍与雨线使目标像素特征更难提取。DINO整体鲁棒性最佳，在各检测指标上均优于其余两者。
图7 不同降雨等级下视觉感知性能变化
3.2 激光雷达
随降雨等级的增加，激光点云受雨滴遮挡、散射、折射影响加剧，点云成像质量逐渐出现波动，如图8所示。
针对激光雷达在降雨下的性能衰减情况，分别从「点云质量」与「目标检测」层面选取指标进行量化分析，如表4所示。
点云指标：针对假人目标物表面的点云性质进行分析，包括点云数量与反射率。检测指标：选取开源目标检测算法，进行假人目标物的检测输出分析。
表4 激光雷达感知性能指标
选取PointsPillars算法进行假人目标物的三维检测，使用无雨条件下的点云数据进行模型训练，而后分别在各个降雨等级下使用训练得到的模型进行假人目标检测输出。
不同降雨等级下激光雷达感知指标的计算结果如图9所示。
点云指标：假人目标表面点云数在小雨等级因检测指标：随着雨强增加，PointPillars对行人目标的检测性能显著劣化。在大雨/暴雨工况下平均漏检率升至0.2以上，分类置信度同步明显下滑。有效点云减少与噪声点增多可能是导致算法检测性能衰退的两个关键因素。
图9 不同降雨等级下激光雷达感知性能变化
值得注意的是，即便暴雨等级目标表面点云数量有所回升，检测性能仍继续下降，说明极端降雨下点云噪声占比上升，也侧面印证将极端雨天点云纳入训练以提升模型鲁棒性的必要性。
3.3 毫米波雷达
针对毫米波雷达在降雨下的性能衰减情况，分别从「点云性质」与「目标物点云检出」层面选取指标进行量化分析，如表5所示。
点云指标：针对假人目标物表面的点云性质进行分析，包括点云数量、能量与信噪比。检测指标：由于毫米波点云的稀疏性，分析每个样本目标物点云完全未检出的帧占比。
表5 毫米波雷达感知性能指标
不同降雨等级下毫米波雷达感知指标的计算结果如图10所示。
点云指标：随着降雨等级增加，假人目标物表面点云数量、能量以及信噪比均出现波动，但是整体波动的幅度较小，与无雨情况下的指标分布差异不大。检测指标：在大雨等级下，毫米波雷达会出现较多目标物点云未检出的情况，但在其他等级下检出较为稳定。
图10 不同降雨等级下毫米波雷达感知性能变化
总体而言，4D毫米波雷达在降雨条件下具备较好的鲁棒性，性能衰减并不显著。
4、总结与展望
「RainSense」数据集是在自然降雨下采集、并带有精确雨强标注的多传感器感知数据集，为感知系统的性能衰减研究提供参考基准。数据集共采集728组感知数据样本，涵盖相机、激光雷达、4D毫米波雷达，覆盖无雨、小雨、中雨、大雨、暴雨五个等级。应用数据集，进一步开展降雨条件下三类传感器性能衰减的量化分析，结果表明在大雨与暴雨条件下，视觉与激光雷达性能显著下滑，而4D毫米波雷达整体保持较高鲁棒性。
「RainSense」数据集可直接支撑以下三类应用场景：
① 降雨条件下传感器与感知算法的鲁棒性测试② 自动驾驶系统降雨条件ODD边界的精细化设计③ 优化增强仿真模拟降雨效果真实性
尽管当前数据集覆盖多种自然降雨工况，但暴雨及以上等级样本仍偏少，且采集主要集中于校园路口并以假人目标为主，场景多样性受限。后续数据集将扩展更多极端降雨工况，并计划开展动态感知数据采集，进一步提升数据集的场景多样性与通用适用性，服务更广泛的自动驾驶研究。
参考文献：
[1] Geiger A, Lenz P, Stiller C, et al. Vision meets robotics: The kitti dataset[J]. The international journal of robotics research, 2013, 32(11): 1231-1237.
[2] Huang X, Cheng X, Geng Q, et al. The apolloscape dataset for autonomous driving[C]//Proceedings of the IEEE conference on computer vision and pattern recognition workshops. IEEE, 2018: 954-960.
[3] Caesar H, Bankiti V, Lang A H, et al. nuscenes: A multimodal dataset for autonomous driving[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. IEEE, 2020: 11621-11631.
[4] Sun P, Kretzschmar H, Dotiwalla X, et al. Scalability in perception for autonomous driving: Waymo open dataset[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. IEEE, 2020: 2446-2454.
[5] Zhang H, Sindagi V, Patel V M. Image de-raining using a conditional generative adversarial network[J]. IEEE transactions on circuits and systems for video technology, 2019, 30(11): 3943-3956.
[6] Fu X, Huang J, Zeng D, et al. Removing rain from single images via a deep detail network[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. IEEE, 2017: 3855-3863.
[7] Karvat M, Givigi S. Adver-city: Open-source multi-modal dataset for collaborative perception under adverse weather conditions[J]. arXiv preprint arXiv:2410.06380, 2025.
[8] Zhang C, Huang Z, Guo H, et al. Smart-rain: A degradation evaluation dataset for autonomous driving in rain[C]//2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2023: 9691-9698.
[9] Heinzler R, Schindler P, Seekircher J, et al. Weather influence and classification with automotive Lidar sensors[C]//2019 IEEE intelligent vehicles symposium (IV). IEEE, 2019: 1527-1534.
[10] Choe J, Cho H, Chung Y. Performance verification of autonomous driving LiDAR sensors under rainfall conditions in darkroom[J]. Sensors, 2023, 24(1): 14.
[11] Hasirlioglu S, Kamann A, Doric I, et al. Test methodology for rain influence on automotive surround sensors[C]//2016 IEEE 19th International Conference on Intelligent Transportation Systems (ITSC). IEEE, 2016: 2242-2247.
[12] Wei Y, Zhang Z, Wang Y, et al. Deraincyclegan: Rain attentive cyclegan for single image deraining and rainmaking[J]. IEEE Transactions on Image Processing, 2021, 30: 4788-4801.
[13] Lee J, Shiotsuka D, Nishimori T, et al. Gan-based Lidar translation between sunny and adverse weather for autonomous driving and driving simulation[J]. Sensors, 2022, 22(14): 5287.
[14] Filgueira A, González-Jorge H, Lagüela S, et al. Quantifying the influence of rain in Lidar performance[J]. Measurement, 2017, 95: 143-148.
责编丨高炳钊
来源：同济智能汽车研究所
