PointMamba
一个用于点云分析的简单状态空间模型
梁定康1 *,周鑫1 *,徐伟1,朱兴奎1,邹志康2,叶晓青2,谭晓2和白翔1†
1 华中科技大学,2 百度公司
(*) 贡献相同。(†) 通讯作者。
📣 新闻
- [2024年5月30日] 更新! 我们更新了架构和性能。请查看我们的最新论文并与新结果进行比较。代码和权重将很快更新。
- [2024年4月1日] 现已提供使用进一步数据增强的ScanObjectNN,快来查看!
- [2024年3月16日] ModelNet40的配置和检查点现已可用,快来查看!
- [2024年3月5日] 我们的论文DAPT (github)已被CVPR 2024接收!🥳🥳🥳 快来查看并给它一个星星🌟!
- [2024年2月16日] 发布论文。
摘要
由于其出色的全局建模能力,Transformer已成为点云分析任务中的基础架构之一。然而,注意力机制具有二次复杂度,使得设计具有全局建模能力的线性复杂度方法变得很有吸引力。在本文中,我们提出了PointMamba,将最近代表性状态空间模型(SSM) Mamba的成功从自然语言处理转移到点云分析任务中。与传统的Transformer不同,PointMamba采用线性复杂度算法,在显著降低计算成本的同时展现全局建模能力。具体而言,我们的方法利用空间填充曲线进行有效的点云标记化,并采用极其简单的非层次化Mamba编码器作为主干。全面的评估表明,PointMamba在多个数据集上实现了优异的性能,同时显著降低了GPU内存使用和FLOPs。这项工作强调了SSM在3D视觉相关任务中的潜力,并为未来研究提供了一个简单而有效的基于Mamba的基线。
概述
主要结果
- 下表将在最新版本代码发布后更新。
任务 | 数据集 | 配置 | 准确率(从头训练) | 下载(从头训练) | 准确率(预训练) | 下载(微调) |
---|---|---|---|---|---|---|
预训练 | ShapeNet | pretrain.yaml | 不适用 | 这里 | ||
分类 | ModelNet40 | finetune_modelnet.yaml | 92.4% | 这里 | 93.6% | 这里 |
分类 | ScanObjectNN | finetune_scan_objbg.yaml | 88.30% | 这里 | 90.71% | 这里 |
分类* | ScanObjectNN | finetune_scan_objbg.yaml | \ | \ | 93.29% | 这里 |
分类 | ScanObjectNN | finetune_scan_objonly.yaml | 87.78% | 这里 | 88.47% | 这里 |
分类* | ScanObjectNN | finetune_scan_objonly.yaml | \ | \ | 91.91% | 这里 |
分类 | ScanObjectNN | finetune_scan_hardest.yaml | 82.48% | 这里 | 84.87% | 这里 |
分类* | ScanObjectNN | finetune_scan_hardest.yaml | \ | \ | 88.17% | 这里 |
部件分割 | ShapeNetPart | 部件分割 | 85.8% mIoU | 这里 | 86.0% mIoU | 这里 |
* 表示进一步使用简单的旋转增强进行训练。
入门指南
数据集
详情请参见DATASET.md。
使用方法
详情请参见USAGE.md。
待办事项
- 发布代码。
- 发布检查点。
- ModelNet40。
- 更新代码。
致谢
本项目基于Point-BERT(论文,代码)、Point-MAE(论文,代码)、Mamba(论文,代码)、Causal-Conv1d(代码)。感谢他们的出色工作。
引用
如果您在研究中发现本仓库有用,请考虑给予星标⭐并引用
@article{liang2024pointmamba,
title={PointMamba: A Simple State Space Model for Point Cloud Analysis},
author={Dingkang Liang and Xin Zhou and Wei Xu and Xingkui Zhu and Zhikang Zou and Xiaoqing Ye and Xiao Tan and Xiang Bai},
journal={arXiv preprint arXiv:2402.10739},
year={2024}
}