在数字创作的广阔天地中,我们的想象力和创造力常常受到现有数字工具的局限。
现在,有了上海科技大学与 Deemos Technology 共同研发的CLAY(Controllable Large-scale Asset Yielder)模型,这一切都将成为过去。
CLAY 是一款创新的3D几何和材质生成器,能够将人类的想象力无缝转化为复杂的三维数字结构。
什么是 CLAY?
CLAY 利用先进的文本或图像输入,通过多样化的原始控件(如多视图图像、体素、包围盒、点云、隐式表达等),让用户以前所未有的方式创造3D模型。
它的核心是一个大规模的生成模型,结合多分辨率变分自编码器(VAE)和简约的潜在扩散变换器(DIT),从而提取丰富的三维先验知识,生成高质量的三维几何体和物理基础渲染(PBR)纹理。
CLAY由此图所生成的模型展示如下
效果真的是amazing ! 生成的3D模型的复原程度堪称完美。
CLAY 的独特优势
易于使用:即使是初学者也可以快速上手,使用 CLAY 将他们生动的三维想象转化为现实。
高度可控制:用户可以通过文本提示、图像或三维原始数据来精确控制资产的生成,从草图概念设计到生产就绪资产。
大规模适应性:CLAY 支持从大规模三维模型数据集中学习,能够生成具有复杂细节的3D模型。
应用前景
CLAY 不仅提升了游戏和娱乐行业的内容创造,还扩展到了电影制作、建筑可视化以及虚拟现实等领域。
随着技术的成熟和应用的深入,我们可以期待 CLAY 在数字创作和3D建模领域掀起一场革命。
CLAY 开辟了三维资产生成的新境界,它的智能化、高效率和易用性将极大地推动创意行业的发展。
从儿时使用泥土和积木搭建城堡的简单乐趣,到如今能够在数字世界中重现复杂结构和细节,CLAY 成为了连接想象与现实的桥梁。
欢迎每位创作者加入这场数字创新的旅程,共同探索未来的可能性。
项目链接:
https://github.com/CLAY-3D/OpenCLAY
关注「向量光年」公众号
加速全行业向AI的改变
关注「开源AI项目落地」公众号
与AI时代更靠近一点
关注「AGI光年」公众号
获取每日最新资讯