LaserMix - 创新半监督LiDAR语义分割框架

LaserMix：用于半监督激光雷达语义分割的方法

孔令栋，任嘉伟，潘亮，刘子伟
南洋理工大学 S-Lab

简介

LaserMix是一个为激光雷达语义分割设计的半监督学习（SSL）框架。它利用驾驶场景的强空间先验，通过激光束混合构建低变化区域，并鼓励分割模型在混合前后做出自信和一致的预测。

图. 基于倾角φ的激光束分区示意图。

访问我们的项目页面了解更多详情。:red_car:

更新

[2024.05] - 我们改进的框架 LaserMix++ :rocket: 已在 arXiv 上发布。
[2024.01] - 为 RoboDrive 挑战赛定制的工具包已经发布。:hammer_and_wrench:
[2023.12] - 我们正在 ICRA 2024 上举办 RoboDrive 挑战赛。:blue_car:
[2023.12] - 推出 FRNet，这是一个高效且有效的实时 LiDAR 分割模型，在 SemanticKITTI 和 nuScenes 上取得了promising的半监督学习结果。代码和检查点可供下载。
[2023.03] - 想测试你的 LiDAR 语义分割模型的鲁棒性吗？查看我们最新的工作 :robot: Robo3D，这是一个综合套件，能够在我们新建立的数据集 SemanticKITTI-C、nuScenes-C 和 WOD-C 上评估 3D 分割器的分布外鲁棒性。
[2023.03] - LaserMix 被选为 CVPR 2023 的 :sparkles: 亮点论文 :sparkles:（被接收论文的前 10%）。
[2023.02] - LaserMix 被 CVPR 2023 接收！:tada:
[2023.02] - LaserMix 已集成到 MMDetection3D 代码库中！查看 dev-1.x 分支中的这个 PR 了解更多详情。:beers:
[2023.01] - 根据建议，我们将在半监督 LiDAR 语义分割基准中建立一个序列轨道，考虑 LiDAR 数据收集的本质。结果将逐步更新在 RESULT.md 中。
[2022.12] - 我们支持更广泛的 LiDAR 分割骨干网络，包括 RangeNet++、SalsaNext、FIDNet、CENet、MinkowskiUNet、Cylinder3D 和 SPVCNN，支持全监督和半监督设置。检查点将很快提供！
[2022.12] - 基于空间先验的 SSL 推导可在此处获得。快来看看！:memo:
[2022.08] - 根据 Paper-with-Code，LaserMix 在 nuScenes、SemanticKITTI 和 ScribbleKITTI 的半监督语义分割排行榜上均获得第一名。:bar_chart:
[2022.08] - 我们提供了一个视频演示，展示了在 SemanticKITTI 验证集上的视觉比较。快来看看！
[2022.07] - 我们的论文已在 arXiv 上发布，点击这里查看。代码将很快提供！

安装

请参考 INSTALL.md 了解安装详情。

数据准备

请参考 DATA_PREPARE.md 了解准备 ¹nuScenes、²SemanticKITTI 和 ³ScribbleKITTI 数据集的详细信息。

入门指南

请参考 GET_STARTED.md 了解更多关于这个代码库的使用方法。

视频演示

演示 1	演示 2	演示 3

链接 ^{:arrow_heading_up:}	链接 ^{:arrow_heading_up:}	链接 ^{:arrow_heading_up:}

主要结果

框架概述

范围视图

方法	nuScenes				SemanticKITTI				ScribbleKITTI
方法	1%	10%	20%	50%	1%	10%	20%	50%	1%	10%	20%	50%
仅监督	38.3	57.5	62.7	67.6	36.2	52.2	55.9	57.2	33.1	47.7	49.9	52.5
LaserMix	49.5	68.2	70.6	73.0	43.4	58.8	59.4	61.4	38.3	54.4	55.6	58.7
提升 ↑	⁺11.2	⁺10.7	⁺7.9	⁺5.4	⁺7.2	⁺6.6	⁺3.5	⁺4.2	⁺5.2	⁺6.7	⁺5.7	⁺6.2
LaserMix++
提升 ↑

体素

方法	nuScenes				SemanticKITTI				ScribbleKITTI
方法	1%	10%	20%	50%	1%	10%	20%	50%	1%	10%	20%	50%
仅监督	50.9	65.9	66.6	71.2	45.4	56.1	57.8	58.7	39.2	48.0	52.1	53.8
LaserMix	55.3	69.9	71.8	73.2	50.6	60.0	61.9	62.3	44.2	53.7	55.1	56.8
提升 ↑	⁺4.4	⁺4.0	⁺5.2	⁺2.0	⁺5.2	⁺3.9	⁺4.1	⁺3.6	⁺5.0	⁺5.7	⁺3.0	⁺3.0
LaserMix++
提升 ↑

消融研究

定性示例

检查点和更多结果

有关更多实验结果和预训练权重，请参阅 RESULT.md。

待办事项

引用

如果您觉得这项工作有帮助，请考虑引用我们的论文：

@inproceedings{kong2023lasermix,
  title = {LaserMix for Semi-Supervised LiDAR Semantic Segmentation},
  author = {Kong, Lingdong and Ren, Jiawei and Pan, Liang and Liu, Ziwei},
  booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages = {21705--21715},
  year = {2023},
}