访问官网
Github
论文FlatFormer：高效点云Transformer的扁平化窗口注意力
网站 | 论文
摘要
Transformer作为CNN的替代方案，已在多种模态（如文本和图像）中证明其有效性。对于3D点云Transformer，现有研究主要集中于将其准确性提升到最先进水平。然而，它们的延迟落后于基于稀疏卷积的模型（慢3倍），阻碍了它们在资源受限、对延迟敏感的应用（如自动驾驶）中的使用。这种低效源于点云的稀疏和不规则性质，而Transformer设计用于处理密集、规则的工作负载。本文提出FlatFormer，通过牺牲空间邻近性来换取更好的计算规则性，从而缩小这一延迟差距。我们首先使用基于窗口的排序来扁平化点云，并将点分成大小相等的组而不是形状相等的窗口。这有效避免了昂贵的结构化和填充开销。然后，我们在组内应用自注意力提取局部特征，交替排序轴以收集不同方向的特征，并移动窗口以在组间交换特征。FlatFormer在Waymo开放数据集上实现了最先进的准确性，比（基于Transformer的）SST快4.6倍，比（稀疏卷积的）CenterPoint快1.4倍。这是首个在边缘GPU上实现实时性能的点云Transformer，比稀疏卷积方法更快，同时在大规模基准测试上达到相当甚至更优的准确性。
结果
本仓库中的所有结果均可复现。遗憾的是，由于Waymo数据集许可协议，我们无法提供预训练模型权重。如果您在项目中使用FlatFormer无法获得令人满意的性能，欢迎讨论。
3D目标检测（在Waymo验证集上）
| 模型 | 扫描次数 | mAP/H_L1 | mAP/H_L2 | 车辆_L1 | 车辆_L2 | 行人_L1 | 行人_L2 | 自行车_L1 | 自行车_L2 |
|---|---|---|---|---|---|---|---|---|---|
| FlatFormer | 1 | 76.1/73.4 | 69.7/67.2 | 77.5/77.1 | 69.0/68.6 | 79.6/73.0 | 71.5/65.3 | 71.3/70.1 | 68.6/67.5 |
| FlatFormer | 2 | 78.9/77.3 | 72.7/71.2 | 79.1/78.6 | 70.8/70.3 | 81.6/78.2 | 73.8/70.5 | 76.1/75.1 | 73.6/72.6 |
| FlatFormer | 3 | 79.6/78.0 | 73.5/72.0 | 79.7/79.2 | 71.4/71.0 | 82.0/78.7 | 74.5/71.3 | 77.2/76.1 | 74.7/73.7 |
使用方法
先决条件
代码基于以下库构建：
- Python >= 3.6, <3.8
- PyTorch >= 1.9, <= 1.10.2
- mmcv = 1.4.0
- mmdetection = 2.14.0
安装这些依赖项后，请运行以下命令安装代码库：
pip install -v -e .
数据集准备
请按照MMDetection3D的说明下载并预处理Waymo开放数据集。完成数据准备后，您将看到以下目录结构（如MMDetection3D中所示）：
mmdetection3d
├── mmdet3d
├── tools
├── configs
├── data
│ ├── waymo
│ │ ├── waymo_format
│ │ │ ├── training
│ │ │ ├── validation
│ │ │ ├── testing
│ │ │ ├── gt.bin
│ │ ├── kitti_format
│ │ │ ├── ImageSets
│ │ │ ├── training
│ │ │ ├── testing
│ │ │ ├── waymo_gt_database
│ │ │ ├── waymo_infos_trainval.pkl
│ │ │ ├── waymo_infos_train.pkl
│ │ │ ├── waymo_infos_val.pkl
│ │ │ ├── waymo_infos_test.pkl
│ │ │ ├── waymo_dbinfos_train.pkl
训练
# 多GPU训练
bash tools/dist_train.sh configs/flatformer/$CONFIG.py 8 --work-dir $CONFIG/ --cfg-options evaluation.pklfile_prefix=./work_dirs/$CONFIG/results evaluation.metric=waymo
评估
# 多GPU测试
bash tools/dist_test.sh configs/flatformer/$CONFIG.py /work_dirs/$CONFIG/latest.pth 8 --eval waymo
引用
如果FlatFormer对您的研究有用或相关，请通过引用我们的论文来认可我们的贡献：
@inproceedings{liu2023flatformer,
title={FlatFormer: Flattened Window Attention for Efficient Point Cloud Transformer},
author={Liu, Zhijian and Yang, Xinyu and Tang, Haotian and Yang, Shang and Han, Song},
booktitle={IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2023}
}
致谢
本项目基于以下代码库：
我们要感谢Tianwei Yin、Lue Fan和Ligeng Mao提供CenterPoint、SST/FSD和VoTr的详细结果，以及Yue Wang和Yukang Chen的有益讨论。本工作得到了国家科学基金会、MIT-IBM Watson人工智能实验室、NVIDIA、现代和福特的支持。Zhijian Liu部分受到高通创新奖学金的资助。
