ULIP-2:面向3D理解的可扩展多模态预训练(CVPR2024)
ULIP:学习语言、图像和点云的统一表示用于3D理解(CVPR2023)
ULIP:学习语言、图像和点云的统一表示用于3D理解的官方实现
新闻
[2024年2月26日] "ULIP-2:面向3D理解的可扩展多模态预训练被CVPR2024接收!"
[2023年6月9日] "PointBERT ULIP-2预训练模型已发布,请在此处查找"。
[2023年6月9日] "ULIP - ShapeNet三元组"的较小版本已在此处发布,现在大约为420GB。查看此图像文件夹"only_rgb_depth_images",您可以选择下载这个渲染图像的子集,这些是ULIP使用的确切图像,而不是下载完整的"rendered_images"文件夹(超过1TB)。
[2023年5月22日] "ULIP - Objaverse三元组"和"ULIP - ShapeNet三元组"已上传此处。
[2023年5月14日] ULIP-2已发布!
[2023年2月28日] ULIP已被CVPR 2023接收!🔥🔥🔥
动画
ULIP是什么
ULIP是一个与模型无关的多模态预训练框架,它可以利用其他模态(图像、语言)的信息来提高理解3D数据的能力,而不会引入任何额外的延迟。
流程
说明
ULIP是一个高度可扩展的多模态预训练框架,它与模型架构无关,这意味着您可以轻松插入任何3D骨干模型,并使用我们的框架进行预训练,为各种下游任务获得良好的起点!
[安装环境]
我们在8个Nvidia A100 GPU上预训练ULIP,代码已在CUDA==11.0和pytorch==1.10.1上测试
conda create -n ulip python=3.7.15
conda activate ulip
conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=11.3 -c pytorch -c conda-forge
pip install -r requirements.txt
[可选]
如果您想预训练PointNeXt,我们在./models/pointnext中嵌入了一个修改过的PointNeXt代码库,请执行以下操作来安装它:
cd ./models/pointnext/PointNeXt \
bash update.sh \
bash install.sh \
[下载数据集和初始化模型,将它们放在正确的路径中。]
从这里下载使用的数据集和初始化模型。目前,您只需要下载"initialize_models"、"modelnet40_normal_resampled"和"shapenet-55"。您可能需要一个Gmail账户才能访问它。
下载数据集和初始化模型后,您可以选择以下选项之一:
(1) 将其放入数据文件夹或创建软链接,默认情况下,数据文件夹应具有以下结构:
./data |
-- ModelNet40.yaml |
-- ShapeNet-55.yaml |
-- dataset_3d.py |
-- dataset_catalog.json |
-- initialize_models |
-- labels.json |
-- modelnet40_normal_resampled |
-- shapenet-55 |
-- templates.json
(2) 相应地更改路径(如果您不想在数据文件夹中放置/链接下载的文件,则可选择这样做):
# 更改"DATA_PATH"、"PC_PATH"、"IMAGE_PATH"
./data/ShapeNet-55.yaml
# 更改"DATA_PATH"
./data/ModelNet40.yaml
# 更改initialize_models地址
./models/ULIP_models.py
修改这一行 "pretrain_slip_model = torch.load('./data/initialize_models/slip_base_100ep.pt', map_location=torch.device('cpu'))"
[预训练3D骨干网络]
我们的框架与模型架构无关,目前支持四种3D骨干网络: Pointnet2(ssg) PointBERT PointMLP PointNeXt
请根据您的系统相应地更改脚本,默认情况下此脚本用于在8个GPU上进行预训练。您也可以在脚本中修改所需的输出文件夹。
# 脚本以其对应的3D骨干网络名称命名。
bash ./scripts/(选择您的预训练脚本)
[测试预训练模型在ModelNet40上的零样本分类效果]
您也可以在脚本中更改输出路径。
bash ./scripts/(选择您的测试脚本) /path/to/your/checkpoint.pt
您也可以在脚本中更改输出路径。
[使用不同数量的点进行预训练和测试]
更改脚本中的npoints参数,默认值为8192。 注意:目前我们使用FPS对8192个点进行下采样,这可能会降低训练速度。如果您愿意,可以选择缓存或保存预处理后的具有不同点数的数据集,以加快预训练速度。
[预训练您自定义的3D骨干网络]
要预训练您自己的自定义3D骨干网络,只需要更改两件事: (1) 在./models文件夹中定义您自己的3D骨干网络。 我们在这里放置了一个"customized_backbone"模板,您可以参考注释来了解预期的输入和输出形状。您也可以参考这里定义的pointnet2。 (2) 在./models/ULIP_models.py中使用或修改这个"ULIP_CUSTOMIZED"类。 请参考"ULIP_CUSTOMIZED"类中的注释,应该很容易理解,请确保相应地更改"pc_feat_dims"(因为我们对自定义3D骨干网络的点云输出特征维度不作限制)。
用于零样本分类的预训练模型
ModelNet40上的零样本分类,8k点预训练,8k点测试,最佳检查点:
模型 | top1 | top5 |
---|---|---|
Pointnet2(ssg) | 57.7 | 78.9 |
PointMLP | 60.0 | 79.4 |
PointBERT | 60.3 | 84.0 |
PointNeXt | 56.2 | 77.0 |
PointBERT_ULIP-2(xyz输入) | 75.6 | 93.7 |
待办事项
更多支持的骨干网络将很快发布。
发布的预训练数据集的许可和使用条款
代码遵循 https://github.com/salesforce/ULIP/blob/main/LICENSE.txt。
发布的"ULIP - Objaverse Triplets"遵循 https://opendatacommons.org/licenses/by/1-0/,与Objaverse的许可一致。
发布的"ULIP - ShapeNet Triplets"遵循 https://shapenet.org/terms 的使用条款,与ShapeNet的使用条款一致。
引用
@article{xue2022ulip,
title={ULIP: Learning Unified Representation of Language, Image and Point Cloud for 3D Understanding},
author={Xue, Le and Gao, Mingfei and Xing, Chen and Mart{\'\i}n-Mart{\'\i}n, Roberto and Wu, Jiajun and Xiong, Caiming and Xu, Ran and Niebles, Juan Carlos and Savarese, Silvio},
journal={arXiv preprint arXiv:2212.05171},
year={2022}
}
@misc{xue2023ulip2,
title={ULIP-2: Towards Scalable Multimodal Pre-training for 3D Understanding},
author={Le Xue and Ning Yu and Shu Zhang and Junnan Li and Roberto Martín-Martín and Jiajun Wu and Caiming Xiong and Ran Xu and Juan Carlos Niebles and Silvio Savarese},
year={2023},
eprint={2305.08275},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
联系方式
如果您对本项目有任何疑问,请联系 lxue@salesforce.com