MapTR
一个用于在线矢量化高清地图构建的端到端框架
廖本澄1,2,3 *, 陈少宇1,3 *, 张云驰1,3 , 姜博1,3 ,程天恒1,3, 张茜3, 刘文予1, 黄昌3, 王兴刚1 :email:
1 华中科技大学电子信息与通信学院, 2 华中科技大学人工智能研究院, 3 地平线机器人
(*) 共同第一作者, (:email:) 通讯作者.
ArXiv预印本 (arXiv 2208.14437)
openreview ICLR'23, 被接受为ICLR聚焦论文
扩展ArXiv预印本 MapTRv2 (arXiv 2308.05736)
新闻
2024年2月20日
: 基于MapTRv2的VADv2发表在arXiv上 论文 项目主页。2023年8月31日
: 初始版MapTRv2在maptrv2分支上发布。请运行git checkout maptrv2
来使用它。2023年8月14日
: 应众多研究者要求,基于MapTR的地图标注框架(VMA)代码将于近期在https://github.com/hustvl/VMA 发布。2023年8月10日
: 我们在Arxiv上发布了MapTRv2。MapTRv2展示了更强的性能和更快的收敛速度。为了更好地满足下游规划器(如PDM)的需求,我们引入了额外的语义——中心线(使用LaneGAP提出的路径式建模)。代码和模型将于8月下旬发布。敬请关注!2023年5月12日
: MapTR现在支持各种BEV编码器,如BEVFormer编码器和BEVFusion bevpool。快来试试吧!2023年4月20日
: 将MapTR扩展为通用地图标注框架(论文, 代码),在空间尺度和元素类型方面具有高度灵活性。2023年3月22日
: 利用MapTR,VAD(论文, 代码)将驾驶场景建模为完全矢量化表示,实现了端到端规划的最新性能!2023年1月21日
: MapTR被ICLR 2023接受为聚焦论文!2022年11月11日
: 我们发布了MapTR的初始版本。2022年8月31日
: 我们在Arxiv上发布了论文。代码/模型即将推出。敬请关注! ☕️
简介
MapTR/MapTRv2是一个简单、快速且强大的在线矢量化高清地图构建框架。
高清(HD)地图提供了驾驶场景丰富而精确的静态环境信息,是自动驾驶系统规划中的基础和不可或缺的组成部分。在本文中,我们提出了Map TRansformer,一个用于在线矢量化高清地图构建的端到端框架。我们提出了一种统一的置换等价建模方法,即将地图元素建模为具有一组等价置换的点集,准确描述了地图元素的形状并稳定了学习过程。我们设计了一种分层查询嵌入方案,灵活地编码结构化地图信息并执行分层二分匹配以进行地图元素学习。为了加速收敛,我们进一步引入了辅助一对多匹配和密集监督。所提出的方法能很好地处理具有任意形状的各种地图元素。它以实时推理速度运行,并在nuScenes和Argoverse2数据集上实现了最先进的性能。大量定性结果显示了在复杂多样的驾驶场景中稳定而强大的地图构建质量。
模型
结果来自MapTRv2论文
方法 | 骨干网络 | 学习率调度 | mAP | FPS |
---|---|---|---|---|
MapTR | R18 | 110ep | 45.9 | 35.0 |
MapTR | R50 | 24ep | 50.3 | 15.1 |
MapTR | R50 | 110ep | 58.7 | 15.1 |
MapTRv2 | R18 | 110ep | 52.3 | 33.7 |
MapTRv2 | R50 | 24ep | 61.5 | 14.1 |
MapTRv2 | R50 | 110ep | 68.7 | 14.1 |
MapTRv2 | V2-99 | 110ep | 73.4 | 9.9 |
注意:
- FPS在NVIDIA RTX3090 GPU上测量,批量大小为1(包含6个视图图像)。
- 所有实验均在8块NVIDIA GeForce RTX 3090 GPU上进行。
此仓库的结果。
MapTR
nuScenes数据集
方法 | 骨干网络 | BEV编码器 | 学习率调度 | mAP | FPS | 内存 | 配置 | 下载 |
---|---|---|---|---|---|---|---|---|
MapTR-nano | R18 | GKT | 110ep | 46.3 | 35.0 | 11907M (bs 24) | 配置 | 模型 / 日志 |
MapTR-tiny | R50 | GKT | 24ep | 50.0 | 15.1 | 10287M (bs 4) | 配置 | 模型 / 日志 |
MapTR-tiny | R50 | GKT | 110ep | 59.3 | 15.1 | 10287M (bs 4) | 配置 | 模型 / 日志 |
MapTR-tiny | 相机 & 激光雷达 | GKT | 24ep | 62.7 | 6.0 | 11858M (bs 4) | 配置 | 模型 / 日志 |
MapTR-tiny | R50 | bevpool | 24ep | 50.1 | 14.7 | 9817M (bs 4) | 配置 | 模型 / 日志 |
MapTR-tiny | R50 | bevformer | 24ep | 48.7 | 15.0 | 10219M (bs 4) | 配置 | 模型 / 日志 |
MapTR-tiny+ | R50 | GKT | 24ep | 51.3 | 15.1 | 15158M (bs 4) | 配置 | 模型 / 日志 |
MapTR-tiny+ | R50 | bevformer | 24ep | 53.3 | 15.0 | 15087M (bs 4) | 配置 | 模型 / 日志 |
注意:
- + 表示我们引入了时序设置。
MapTRv2
请运行 git checkout maptrv2
并按照安装说明使用以下检查点
nuScenes数据集
Argoverse2 数据集
方法 | 主干网络 | BEV编码器 | 学习率调度 | mAP | FPS | 内存 | 配置 | 下载 |
---|---|---|---|---|---|---|---|---|
MapTRv2 | R50 | bevpool | 6轮 | 64.3 | 14.1 | 20580 (批大小 24) | 配置 | 模型 / 日志 |
MapTRv2* | R50 | bevpool | 6轮 | 61.3 | 待定 | 21515 (批大小 24) | 配置 | 模型 / 日志 |
注意:
-
- 表示我们引入了额外的语义——中心线(使用LaneGAP提出的路径式建模)。
nuScenes 验证集和 Argoverse2 验证集上的定性结果
MapTR/MapTRv2 在各种驾驶场景中保持稳定和可靠的地图构建质量。
MapTRv2 在整个 nuScenes 验证集上的表现
MapTRv2 在整个 Argoverse2 验证集上的表现
基于 MapTR 的端到端规划
入门指南
目录
- 时序模块
- 中心线检测与拓扑支持(参考 maptrv2 分支)
- 多模态检查点
- 多模态代码
- 激光雷达模态代码
- Argoverse2 数据集
- NuScenes 数据集
- MapTR 检查点
- MapTR 代码
- 初始化
致谢
MapTR 基于 mmdetection3d。它还受到以下对开源社区的杰出贡献的极大启发:BEVFusion、BEVFormer、HDMapNet、GKT、VectorMapNet。
引用
如果您发现 MapTR 在您的研究或应用中有用,请考虑给我们一个星星 🌟 并用以下 BibTeX 条目引用它。
[以下是原文中的引用信息,不需要翻译]