pix2pix3D: 从2D标签图生成逼真的3D物体模型

在计算机视觉和图形学领域,如何从2D输入生成逼真的3D模型一直是一个充满挑战的研究课题。近日，来自卡内基梅隆大学的研究团队提出了一种名为pix2pix3D的新型3D感知条件生成模型,该模型能够根据2D标签图(如分割图或边缘图)生成不同视角下的逼真3D物体图像,为该领域带来了重要突破。

pix2pix3D的核心思想

pix2pix3D的核心思想是将条件生成模型与神经辐射场(Neural Radiance Fields, NeRF)技术相结合。具体来说,该模型学习将2D标签图映射到3D神经场表示,不仅可以生成颜色和密度信息,还可以为3D空间中的每个点赋予语义标签。这种设计使得模型能够同时渲染图像和像素对齐的标签图,从而实现对3D空间的精确控制和编辑。

pix2pix3D示例图

模型的主要特点

3D感知生成: pix2pix3D可以从单一2D标签图生成多个视角下的3D一致图像,展现了出色的3D理解和生成能力。
精确的语义控制: 模型为3D空间中的每个点赋予语义标签,使得用户可以通过编辑标签图来精确控制生成结果。
多样化的应用场景: pix2pix3D可以处理多种类型的标签图,包括分割图和边缘图,适用于人脸、动物和物体等多种场景。
交互式编辑: 研究团队还开发了一个交互式系统,允许用户从任意视角编辑标签图并实时生成相应的3D模型。

技术实现

pix2pix3D的实现基于PyTorch框架,主要包括以下几个关键步骤:

数据准备: 模型使用配对的单目图像和标签图进行训练。研究团队提供了预处理好的CelebAMask(人脸)、AFHQ-Cat-Seg(猫)和Shapenet-Car-Edge(汽车)数据集。
模型架构: pix2pix3D结合了条件生成对抗网络(cGAN)和神经辐射场(NeRF)技术。模型学习将2D标签图映射到3D神经场表示,同时生成颜色、密度和语义标签信息。
训练过程: 训练过程涉及多个损失函数,包括GAN损失、LPIPS损失和跨视图一致性损失等。模型还使用了EG3D预训练权重进行部分初始化,以加速收敛。
推理与应用: 训练完成后,模型可以根据输入的2D标签图生成多视角下的3D一致图像。研究团队还提供了样本生成、视频渲染和语义网格提取等应用脚本。

实验结果与应用展示

pix2pix3D在多个数据集上展现了出色的性能。以下是一些典型的应用示例:

人脸生成: 根据面部分割图生成不同表情和视角的逼真人脸图像。
动物建模: 从猫的分割图生成不同姿态的3D猫咪模型。
物体建模: 利用汽车边缘图生成多角度的3D汽车模型。

pix2pix3D生成示例

除了静态图像生成,pix2pix3D还支持视频渲染和3D语义网格提取等高级功能。用户可以通过简单的命令行操作来实现这些功能:

# 生成样本
python applications/generate_samples.py --network checkpoints/pix2pix3d_seg2cat.pkl --outdir examples --random_seed 1 --cfg seg2cat --input_id 1666

# 渲染视频
python applications/generate_video.py --network checkpoints/pix2pix3d_seg2cat.pkl --outdir examples --random_seed 1 --cfg seg2cat --input examples/example_input.png

# 提取语义网格
python applications/extract_mesh.py --network checkpoints/pix2pix3d_seg2cat.pkl --outdir examples --cfg seg2cat --input examples/example_input.png