访问官网
Github
文档
论文BEVFormer：基于摄像头的检测的前沿基线
BEVFormer：通过时空变换器从多摄像头图像学习鸟瞰图表示，ECCV 2022
- arXiv论文 | 中文论文 | OpenDriveLab
- 英文幻灯片 | 占用和BEV感知演讲幻灯片
- 中文博客 | 视频讲座和幻灯片（中文）
- BEV感知综述（已被PAMI接收）| GitHub仓库
新闻
- [2022/6/16]：我们新增了两个BEVformer配置，比基础版本需要更少的GPU内存。请拉取此仓库以获取最新代码。
- [2022/6/13]：我们发布了BEVFormer的初始版本。它在nuScenes上实现了51.7%的NDS基线结果。
- [2022/5/23]：🚀🚀基于BEVFormer构建的BEVFormer++，集合了近期最佳实践和我们独特的修改，在Waymo开放数据集3D仅摄像头检测挑战赛中排名第一。我们将在CVPR 2022自动驾驶研讨会上展示BEVFormer++。
- [2022/3/10]：🚀BEVFormer在nuScenes检测任务上以56.9% NDS（仅使用摄像头）达到了最新技术水平！
摘要
在这项工作中，作者提出了一个名为BEVFormer的新框架，它通过时空变换器学习统一的BEV表示，以支持多个自动驾驶感知任务。简而言之，BEVFormer通过预定义的网格形BEV查询与空间和时间空间进行交互，从而利用空间和时间信息。为了聚合空间信息，作者设计了一种空间交叉注意力机制，每个BEV查询从跨摄像头视图的感兴趣区域提取空间特征。对于时间信息，作者提出了一种时间自注意力机制，以递归方式融合历史BEV信息。 该方法在nuScenes测试集上实现了新的最先进的56.9%的NDS指标，比之前的最佳技术高出9.0个百分点，并与基于LiDAR的基线性能相当。
方法
入门指南
模型库
| 骨干网络 | 方法 | 学习率调度 | NDS | mAP | 内存 | 配置 | 下载 |
|---|---|---|---|---|---|---|---|
| R50 | BEVFormer-tiny_fp16 | 24轮 | 35.9 | 25.7 | - | 配置 | 模型/日志 |
| R50 | BEVFormer-tiny | 24轮 | 35.4 | 25.2 | 6500M | 配置 | 模型/日志 |
| R101-DCN | BEVFormer-small | 24轮 | 47.9 | 37.0 | 10500M | 配置 | 模型/日志 |
| R101-DCN | BEVFormer-base | 24轮 | 51.7 | 41.6 | 28500M | 配置 | 模型/日志 |
| R50 | BEVformerV2-t1-base | 24轮 | 42.6 | 35.1 | 23952M | 配置 | 模型/日志 |
| R50 | BEVformerV2-t1-base | 48轮 | 43.9 | 35.9 | 23952M | 配置 | 模型/日志 |
| R50 | BEVformerV2-t1 | 24轮 | 45.3 | 38.1 | 37579M | 配置 | 模型/日志 |
| R50 | BEVformerV2-t1 | 48轮 | 46.5 | 39.5 | 37579M | 配置 | 模型/日志 |
| R50 | BEVformerV2-t2 | 24轮 | 51.8 | 42.0 | 38954M | 配置 | 模型/日志 |
| R50 | BEVformerV2-t2 | 48轮 | 52.6 | 43.1 | 38954M | 配置 | 模型/日志 |
| R50 | BEVformerV2-t8 | 24轮 | 55.3 | 46.0 | 40392M | 配置 | 模型/日志 |
| BEVFormerV2模型和日志的百度网盘链接[https://pan.baidu.com/s/1ynzlAt1DQbH8NkqmisatTw?pwd=fdcv]在这里。 |
目录
- BEVFormerV2 超查询
- BEVFormerV2 优化，包括内存、速度、推理
- BEVFormerV2 发布
- BEV分割检查点
- BEV分割代码
- 3D检测检查点
- 3D检测代码
- 初始化
引用
如果本工作对您的研究有帮助，请考虑引用以下BibTeX条目。
@article{li2022bevformer,
title={BEVFormer: Learning Bird's-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers},
author={Li, Zhiqi and Wang, Wenhai and Li, Hongyang and Xie, Enze and Sima, Chonghao and Lu, Tong and Qiao, Yu and Dai, Jifeng}
journal={arXiv preprint arXiv:2203.17270},
year={2022}
}
@article{Yang2022BEVFormerVA,
title={BEVFormer v2: Adapting Modern Image Backbones to Bird's-Eye-View Recognition via Perspective Supervision},
author={Chenyu Yang and Yuntao Chen and Haofei Tian and Chenxin Tao and Xizhou Zhu and Zhaoxiang Zhang and Gao Huang and Hongyang Li and Y. Qiao and Lewei Lu and Jie Zhou and Jifeng Dai},
journal={ArXiv},
year={2022},
}
致谢
非常感谢这些优秀的开源项目：
