MeshXL 官方仓库
🏃 MeshXL 介绍
MeshXL是一个用于生成 3D 网格的预训练基础模型系列。通过神经坐标场表示,可以利用现代大型语言模型方法无缝生成非结构化的 3D 网格数据。
3D 数据的多边形网格表示具有极大的灵活性、快速的渲染速度和存储效率,广泛应用于各种应用场景。然而,由于其非结构化的图形表示,直接生成高保真度的 3D 网格具有挑战性。幸运的是,通过预定义的排序策略,可以将 3D 网格表示为序列,生成过程就可以无缝处理为自回归问题。在本文中,我们验证了 Neural Coordinate Field (NeurCF),即一种具有隐式神经嵌入的显式坐标表示,是大规模顺序网格建模的简单但有效的方法。之后,我们提出了 MeshXL,一个生成预训练自回归模型系列,通过现代大型语言模型方法解决 3D 网格生成过程。广泛的实验表明,MeshXL 能够生成高质量的 3D 网格,同时还可以作为各种下游应用的基础模型。
🚩 新闻
- [2024/07/24] 上传推理代码和预训练权重。
- [2024/06/02] 上传论文并初始化项目。
⚡ 快速开始
环境设置
你可以使用提供的脚本来构建环境:
bash set_env.sh
数据
敬请期待...
💻 训练与评估
下载预训练权重
[特别说明]:所有目前发布的权重仅用于 无条件 的 3D 网格生成。
我们在 Huggingface 上提供了不同尺寸模型的预训练权重(即 125m
,350m
,和 1.3b
)。从以下链接下载预训练权重,替换 ./mesh-xl/
文件夹中相应文件夹下的 pytorch_model.bin
文件。模型详情如下:
MeshXL 生成预训练
敬请期待...
📖 引用
如果您觉得我们的代码或论文对您有所帮助,请考虑引用:
@misc{chen2024meshxl,
title={MeshXL: Neural Coordinate Field for Generative 3D Foundation Models},
author={Sijin Chen and Xin Chen and Anqi Pang and Xianfang Zeng and Wei Cheng and Yijun Fu and Fukun Yin and Yanru Wang and Zhibin Wang and Chi Zhang and Jingyi Yu and Gang Yu and Bin Fu and Tao Chen},
year={2024},
eprint={2405.20853},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
致谢
感谢以下优秀的项目:ShapeNet,3D-FUTURE,Objaverse 和 Objaverse-XL。