GaussianDreamerPro：从文本到可操纵的3D高斯体，大幅提升质量

项目主页 | arxiv论文

GaussianDreamerPro：从文本到可操纵的3D高斯体，大幅提升质量

易陶然¹， 方杰民^2†，周赞威³，王俊杰²，吴冠军¹，谢凌曦²，
张晓鹏²，刘文预^1✉，王兴刚^1†，田奇²

¹华中科技大学  ²华为公司   ³上海交通大学人工智能研究院  

^†项目负责人 ^✉通讯作者

近期，3D高斯体溅射（3D-GS）在重建和渲染真实世界场景方面取得了巨大成功。为了将高质量渲染转移到生成任务中，一系列研究工作尝试从文本生成3D高斯体资产。然而，生成的资产尚未达到重建任务中的同等质量。我们观察到，由于生成过程可能导致不确定性，高斯体倾向于无控制地增长。为了大幅提升生成质量，我们提出了一个名为GaussianDreamerPro的新框架。其主要思想是将高斯体绑定到合理的几何体上，并在整个生成过程中不断演化。在我们框架的不同阶段，几何形状和外观都能得到逐步丰富。最终输出的资产是由绑定到网格的3D高斯体构建而成，与之前的方法相比，显示出显著增强的细节和质量。值得注意的是，生成的资产还可以无缝集成到下游操作流程中，如动画、合成和模拟等，极大地提升了其在广泛应用中的潜力。

🦾 更新

• 2024年6月26日：项目初始化，代码即将发布。

📑 引用

@article{GaussianDreamerPro,
    title={GaussianDreamerPro: Text to Manipulable 3D Gaussians with Highly Enhanced Quality},
    author={Yi, Taoran and Fang, Jiemin and Zhou, Zanwei and Wang, Junjie and Wu, Guanjun and Xie, Lingxi and Zhang, Xiaopeng and Liu, Wenyu and Wang, Xinggang and Tian, Qi},
    journal={arXiv:2406.18462},
    year={2024}
}

@inproceedings{yi2024gaussiandreamer,
  title={Gaussiandreamer: Fast generation from text to 3d gaussians by bridging 2d and 3d diffusion models},
  author={Yi, Taoran and Fang, Jiemin and Wang, Junjie and Wu, Guanjun and Xie, Lingxi and Zhang, Xiaopeng and Liu, Wenyu and Tian, Qi and Wang, Xinggang},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={6796--6807},
  year={2024}
}