出色的文本/图像转3D
这是一个文本/图像转3D作品的列表。该仓库主要包含从2D先验模型(如稳定扩散、CLIP等)学习3D的工作。最近,直接在3D数据上训练3D生成模型也显示出了令人鼓舞的结果。因此,本仓库已将这些方法单独列出。
文本转3D
2022年之前
-
使用梦境场景进行零样本文本引导的物体生成, Ajay Jain 等人, CVPR 2022 | github
-
CLIP-Forge: 迈向零样本文本到形状生成, Aditya Sanghi 等人, CVPR 2022 | github
-
CLIP-NeRF: 文本和图像驱动的神经辐射场操作, Can Wang 等人, CVPR 2022 | github
-
Clip-Mesh: 使用预训练图像-文本模型从文本生成纹理网格, Mohammad Khalid, Nasir, 等人, SIGGRAPH Asia 2022 | github
-
Text2Mesh: 网格的文本驱动神经风格化, Oscar Michel, 等人, CVPR 2022 | github
2022年
-
DreamFusion: 使用2D扩散的文本到3D, Ben Poole, 等人, ICLR 2022 | 项目页面 github
-
分数雅可比链接: 提升预训练2D扩散模型用于3D生成, Haochen Wang, 等人, CVPR 2023 | 项目页面 github
-
Magic3D: 高分辨率文本到3D内容创建, Chen-Hsuan Lin, 等人., CVPR 2023 | 项目页面 github
-
Latent-NeRF: 用于形状引导的3D形状和纹理生成, Gal Metzer, 等人, CVPR 2023 | github
-
TAPS3D: 基于伪监督的文本引导3D纹理形状生成, Jiacheng Wei, 等人, CVPR 2023 | github
2023年
-
Shap·E: 生成条件3D隐函数, Heewoo Jun, 等人, | github
-
ProlificDreamer: 使用变分分数蒸馏进行高保真度和多样化的文本到3D生成, Zhengyi Wang, 等人, | github
-
Instruct-NeRF2NeRF: 使用指令编辑3D场景, Ayaan Haque, 等人, | github
-
Fantasia3D: 解耦几何和外观以实现高质量文本到3D内容创建, Rui Chen, 等人, ICCV 2023 | github
-
ATT3D: 摊销的文本到3D物体合成, Jonathan Lorraine., ICCV 2023 | 项目页面
-
DreamEditor: 使用神经场进行文本驱动的3D场景编辑, Jingyu Zhang, 等人, Arxiv 2023
-
Vox-E 文本引导的3D物体体素编辑, Etai Sella, 等人, ICCV 2023 | github
-
SKED: 草图引导的基于文本的3D编辑, Aryan Mikaeili, 等人, ICCV 2023 | 项目页面
-
TextMesh: 从文本提示生成逼真的3D网格, Christina Tsalicoglou, 等人, Arxiv 2023 | github
-
重新构想负面提示算法: 将2D扩散转化为3D, 缓解雅努斯问题等 Mohammadreza Armandpour, 等人, Arxiv 2023 | github
-
IT3D: 通过显式视图合成改进的文本到3D生成 Yiwen Chen, 等人, Arxiv 2023 | github
-
协作分数蒸馏用于一致的视觉合成 Subin Kim, 等人, Arxiv 2023 | 项目页面
-
MVDREAM: 用于3D生成的多视图扩散 Yichun Shi, 等人, Arxiv 2023 | 项目页面
-
EfficientDreamer: 通过正交视图扩散先验实现高保真度和鲁棒的3D创建 Minda Zhao, 等人, Arxiv 2023
-
TextMesh: 从文本提示生成逼真的3D网格 Christina Tsalicoglou, 等人, Arxiv 2023 | github
-
MATLABER: 基于潜在BRDF自编码器的材质感知文本到3D Xudong Xu, 等人, Arxiv 2023 | 项目页面
-
DREAMGAUSSIAN: 用于高效3D内容创建的生成高斯散射 Jiaxiang Tang, 等人, Arxiv 2023 | github
-
使用高斯散射进行文本到3D Zilong Chen, 等人, Arxiv 2023 | github
-
Dreameditor: 使用神经场进行文本驱动的3D场景编辑 Jingyu Zhuang, 等人, SIGGRAPH Asia 2023
-
SWEETDREAMER:在2D扩散中对齐几何先验以实现一致的文本到3D生成 Weiyu Li等,Arxiv 2023 | 项目主页
-
Consistent-1-to-3:通过几何感知扩散模型实现一致的图像到3D视图合成 Jianglong Ye等,Arxiv 2023 | 项目主页
-
ED-NeRF:使用潜在空间NeRF进行高效的文本引导3D场景编辑 Jangho Park等,Arxiv 2023
-
T3Bench:评估文本到3D生成的当前进展 Yuze He等,Arxiv 2023 | 项目主页
-
IPDreamer:利用图像提示进行可控外观的3D对象生成 Bohan Zeng等,Arxiv 2023
-
Progressive3D:针对复杂语义提示的文本到3D内容创建的渐进式局部编辑 Xinhua Cheng等,Arxiv 2023 | 项目主页
-
通过像素级梯度裁剪增强高分辨率3D生成 Zijie Pan等,Arxiv 2023 | github
-
驯服文本到3D生成中的评分蒸馏模式崩溃 Openreview 2023
-
STEINDREAMER:通过斯坦恒等式实现文本到3D评分蒸馏的方差减少 Openreview 2023
-
使用分类器评分蒸馏的文本到3D生成 Xin Yu等,Arxiv 2023 | 项目主页
-
使用2D和3D先验的双向扩散进行文本到3D生成 Openreview 2023
-
LucidDreamer:通过区间评分匹配实现高保真文本到3D生成 Yixun Liang等,Arxiv 2023 | github
-
GaussianDiffusion:用于结构化噪声的去噪扩散概率模型的3D高斯散射 Xinhai Li等,Arxiv 2023
-
RichDreamer:用于文本到3D的通用法线深度扩散模型,实现细节丰富度 Lingteng Qiu等,Arxiv 2023 | 项目主页
-
学习优化3D生成的去噪评分 - NeRF和3D高斯散射上的统一和改进扩散先验 Xiaofeng Yang等,Arxiv 2023 | 项目主页
-
GaussianDreamer:通过桥接2D和3D扩散模型,快速从文本生成3D高斯 Taoran Yi等,Arxiv 2023 | 项目主页
-
Text2Immersion:使用3D高斯生成沉浸式场景 Hao Ouyang等,Arxiv 2023 | 项目主页
-
StableDreamer:驯服文本到3D中的噪声评分蒸馏采样 Pengsheng Guo等,Arxiv 2023
-
DreamPropeller:通过并行采样加速文本到3D生成 Linqi Zhou等,Arxiv 2023 | 项目主页
-
HyperFields:朝向从文本零样本生成NeRFs Sudarshan Babu等,ICML 2024 | 项目主页
2023
-
RealFusion:从单张图像实现任何物体的360°重建,Luke Melas-Kyriazi等,ICCV 2023 | github
-
Magic123:使用2D和3D扩散先验从单张图像生成高质量3D物体,Guocheng Qian等 | github
-
One-2-3-45:45秒内从任何单张图像生成3D网格,无需每个形状优化,Minghua Liu等 | github
-
Nerdi:使用语言引导扩散作为通用图像先验的单视图nerf合成 Congyue Deng等,CVPR 2023
-
NeuralLift-360:将真实世界2D照片提升为具有360°视图的3D物体 Dejia Xu等,CVPR 2023 | github
-
Make-It-3D:使用扩散先验从单张图像进行高保真3D创建 Junshu Tang等,ICCV 2023 | github
-
Zero-1-to-3:零样本单张图像到3D物体 Ruoshi Liu等,ICCV2023 | github
-
SyncDreamer:从单视图图像生成多视图一致的图像 Yuan Liu等,Arxiv 2023 | github
-
MVDream:用于3D生成的多视图扩散 Yichun Shi等,Arxiv 2023 | github
-
Consistent123:使用情况感知扩散先验从单张图像生成高度一致的3D资产 Yukang Lin等,Arxiv 2023 | github
-
HiFi-123:朝向高保真单张图像到3D内容生成 Wangbo Yu等,Arxiv 2023 | github
-
ConsistNet: 为多视角图像扩散强制执行3D一致性 Jiayu Yang等,Arxiv 2023 | 项目主页
-
DreamCraft3D: 利用自举扩散先验的分层3D生成 Jingxiang Sun等,Arxiv 2023 | 项目主页 github
-
Zero123++: 从单一图像到一致多视角扩散的基础模型 Ruoxi Shi等,Arxiv 2023 | github
-
Wonder3D: 利用跨域扩散从单一图像到3D Xiaoxiao Long等,Arxiv 2023 | github
-
ImageDream: 用于3D生成的图像提示多视角扩散 Peng Wang等,Arxiv 2023 | 项目主页
-
One-2-3-45++: 快速单图到3D对象生成,具有一致的多视角生成和3D扩散 Minghua Liu等,Arxiv 2023 | github 项目主页
-
Free3D: 无需3D表示的一致新视角合成 Chuanxia Zheng等,Arxiv 2023 | github
-
Repaint123: 利用渐进式可控2D重绘实现快速高质量的单图到3D生成 Junwu Zhang等,Arxiv 2023 | github
直接3D生成
2023
-
DMV3D: 使用3D大型重建模型的多视角扩散去噪 Yinghao Xu等,Arxiv 2023 | 项目主页
-
PF-LRM: 无姿态大型重建模型用于联合姿态和形状预测 Peng Wang等,Arxiv 2023 | 项目主页
-
Instant3D: 即时文本到3D生成 Ming Li等,Arxiv 2023 | 项目主页
-
LRM: 用于单图到3D的大型重建模型 Yicong Hong等,Arxiv 2023 | 项目主页
-
MeshGPT: 使用仅解码器Transformer生成三角网格 Yawar Siddiqui等,Arxiv 2023 | 项目主页
-
CAD: 通过对抗性蒸馏实现逼真的3D生成 Ziyu Wan等,Arxiv 2023 | 项目主页
2024
- TripoSR: 从单一图像快速重建3D物体 Dmitry Tochilkin等,Arxiv 2024 | github