PersFormer:3D车道线检测的新基准
PersFormer:通过透视变换器和OpenLane基准进行3D车道线检测 Li Chen∗†, Chonghao Sima∗, Yang Li∗, Zehan Zheng, Jiajie Xu, Xiangwei Geng, Hongyang Li†, Conghui He, Jianping Shi, Yu Qiao, Junchi Yan. ∗ 贡献相同。 † 通讯作者
- 论文:arXiv 2203.11089,ECCV 2022 口头报告 (2.7% 接受率)
- 第三方深度Persformer博客 (推荐)
- 我们的博客 | 幻灯片 | 演示视频 (4分钟) | 在线讲座 (50分钟) | 海报
简介
本仓库是PersFormer的PyTorch实现。
PersFormer是一个端到端的单目3D车道线检测器,采用了新颖的基于Transformer的空间特征转换模块。我们的模型通过关注前视局部区域并以相机参数为参考来生成BEV特征。它采用统一的2D/3D锚点设计和辅助任务来同时检测2D/3D车道线,增强了特征一致性并分享了多任务学习的好处。
更新日志
- 2022-11-3:修复评估流程bug并上传PersFormer在openlaneV1.1上的最佳模型以便复现。其他模型即将推出。
- 2022-9-27:更新评估指标,在评估前根据可见性剪枝gt点,详情可见相关issue 关于prune_3d_lane_by_visibility的问题;支持OpenLane上的Gen-LaneNet;支持once数据集上的PersFormer。
- 2022-5-9:我们在ONCES_3DLanes数据集上比较了我们的方法,PersFormer也优于其他方法。
- 2022-4-12:我们发布了PersFormer的v1.0代码。
快速开始
安装
- 要运行PersFormer,请确保您使用的机器至少有一个GPU。
- 请按照INSTALL.md设置环境。
数据集
- 请参考OpenLane下载OpenLane数据集。
- 请参考Gen-LaneNet下载Apollo 3D Lane合成数据集。
训练和评估
- 请按照TRAIN_VAL.md训练和评估模型。
基准测试
- OpenLane上的3D车道线检测结果(F-Score)。
方法 | 版本 | 全部 | 上下 坡 | 弯道 | 极端 天气 | 夜晚 | 路口 | 合并 分离 | 最佳模型 | x-c | x-f | z-c | z-f | 类别准确率 |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
GenLaneNet | 1.1 | 32.3 | 25.4 | 33.5 | 28.1 | 18.7 | 21.4 | 31.0 | - | 0.593 | 0.494 | 0.140 | 0.195 | / |
3DLaneNet | 1.1 | 44.1 | 40.8 | 46.5 | 47.5 | 41.5 | 32.1 | 41.7 | - | - | - | - | - | - |
PersFormer | 1.1 | 50.5 | 45.6 | 58.7 | 54.0 | 50.0 | 41.6 | 53.1 | 模型 | 0.319 | 0.325 | 0.112 | 0.141 | 89.51 |
PersFormer | 1.2 | 53.1 | 46.8 | 58.7 | 54.0 | 48.4 | 41.4 | 52.5 | 模型 | 0.361 | 0.328 | 0.124 | 0.129 | 88.99 |
- OpenLane上的2D车道线检测结果(F-Score)。注意PersFormer中2D分支的基线是LaneATT。
方法 | 全部 | 上下 坡 | 弯道 | 极端 天气 | 夜晚 | 路口 | 合并 分离 |
---|---|---|---|---|---|---|---|
LaneATT-S | 28.3 | 25.3 | 25.8 | 32.0 | 27.6 | 14.0 | 24.3 |
LaneATT-M | 31.0 | 28.3 | 27.4 | 34.7 | 30.2 | 17.0 | 26.5 |
PersFormer | 42.0 | 40.7 | 46.3 | 43.7 | 36.1 | 28.9 | 41.2 |
CondLaneNet-S | 52.3 | 55.3 | 57.5 | 45.8 | 46.6 | 48.4 | 45.5 |
CondLaneNet-M | 55.0 | 58.5 | 59.4 | 49.2 | 48.6 | 50.7 | 47.8 |
CondLaneNet-L | 59.1 | 62.1 | 62.9 | 54.7 | 51.0 | 55.7 | 52.3 |
- ONCE_3DLanes上的3D车道线检测结果。
方法 | F1(%) | 精确度(%) | 召回率(%) | CD误差(m) | 最佳模型 |
---|---|---|---|---|---|
3DLaneNet | 44.73 | 61.46 | 35.16 | 0.127 | / |
GenLaneNet | 45.59 | 63.95 | 35.42 | 0.121 | / |
SALAD (ONCE 3DLanes的论文) | 64.07 | 75.90 | 55.42 | 0.098 | / |
PersFormer | 72.07 | 77.82 | 67.11 | 0.086 | 模型 |
可视化
以下是PersFormer在OpenLane数据集和Apollo数据集上的可视化结果。
- OpenLane可视化结果
<img src=imgs/openlane_vis.png width="720" height="720" alt="openlane_vis"/> - Apollo 3D合成可视化结果
<img src=imgs/apollo_vis.png width="720" height="500" alt="apollo_vis"/>
引用
如果您发现我们的代码库或论文PersFormer有用,请使用以下引用:
@inproceedings{chen2022persformer,
title={PersFormer: 3D Lane Detection via Perspective Transformer and the OpenLane Benchmark},
author={Chen, Li and Sima, Chonghao and Li, Yang and Zheng, Zehan and Xu, Jiajie and Geng, Xiangwei and Li, Hongyang and He, Conghui and Shi, Jianping and Qiao, Yu and Yan, Junchi},
booktitle={European Conference on Computer Vision (ECCV)},
year={2022}
}
致谢
我们要感谢商汤科技研究院SenseBee标注团队的大力支持,北航丁子涵的建设性建议,以及来自李志祺、侯悦南、刘宇、邵晶、戴继峰对该项目的富有成效的讨论和评论。我们感谢来自Gen-LaneNet、LaneATT和Deformable DETR的代码实现。
许可证
本仓库中的所有代码均遵循Apache License 2.0。