Github
Huggingface
论文Zero123++：单张图像生成一致多视图扩散基础模型
[报告] [官方演示] [yvrjsharma的演示] [Google Colab] [Replicate 演示]
更新 v1.2
我们非常高兴发布 Zero123++ v1.2！主要变化如下：
- 相机内参处理得更加细致。v1.2 模型对更宽范围的输入视场、更大的裁剪量更加稳健，并统一输出视场为 30° ，以更好地反映真实近景视图。
- 固定仰角集从 30° 和 -20° 更改为 20° 和 -10°。
- 与新视角合成不同，模型更关注 3D 生成。模型假定一个标准化对象大小输出一组视图，而不是相对于输入改变。
此外，我们还有一个可以生成视图空间法线图像的 法线生成器 ControlNet。输出还可以用来获得比基于 SAM 的方法更准确的掩码。在我们来自 Objaverse 的验证集上的验证指标：alpha（抠图前）IoU 98.81%，平均法线角度误差 10.75°，法线 PSNR 26.93 dB。
使用方法
v1.2 基础模型的使用方法不变。请参见以下部分了解具体用法。
法线生成器的使用方法： 请参见 examples/normal_gen.py。
关于从法线图像生成 alpha 掩码，请参见 examples/matting_postprocess.py 和 examples/normal_gen.py。
许可证
代码以 Apache 2.0 发布，模型权重以 CC-BY-NC 4.0 发布。
这意味着你不能在商业产品管道中使用模型（或其衍生物），但你仍可以自由使用模型的输出。而且，你对生成的输出及其后续使用负责。
开始
你将需要 torch（推荐 2.0 或更高版本）、diffusers（推荐 0.20.2）和 transformers 才能开始。如果你使用的是 torch 1.x，建议安装 xformers 以高效计算模型中的注意力。代码也可以在较旧版本的 diffusers 上运行，但你可能会看到模型性能的下降。
一切准备就绪！我们为 diffusers 提供了自定义管道，因此不需要额外的代码。
要从单张输入图像生成多视图图像，你可以运行以下代码（另请参见 examples/img_to_mv.py）：
import torch
import requests
from PIL import Image
from diffusers import DiffusionPipeline, EulerAncestralDiscreteScheduler
# 加载管道
pipeline = DiffusionPipeline.from_pretrained(
"sudo-ai/zero123plus-v1.1", custom_pipeline="sudo-ai/zero123plus-pipeline",
torch_dtype=torch.float16
)
# 随意调整调度器!
# `timestep_spacing` 参数在较旧版本的 `diffusers` 中不支持，因此可能会出现性能下降
# 我们建议使用 `diffusers==0.20.2`
pipeline.scheduler = EulerAncestralDiscreteScheduler.from_config(
pipeline.scheduler.config, timestep_spacing='trailing'
)
pipeline.to('cuda:0')
# 下载示例图片。
cond = Image.open(requests.get("https://d.skis.ltd/nrp/sample-data/lysol.png", stream=True).raw)
# 运行管道！
result = pipeline(cond, num_inference_steps=75).images[0]
# 对于一般的真实和合成物体图像
# 通常28步就足够
# 对于带有细节的图像如人脸（真实或动漫）
# 你可能需要75-100步来构建细节
result.show()
result.save("output.png")
上述示例需要约5GB的VRAM运行。
输入图像需要是正方形，推荐图像分辨率为 >=320x320。
默认情况下，Zero123++ 生成带有灰色背景的不透明图像（Stable Diffusion VAE 的 zero）。
你可以运行额外的背景去除步骤，如 rembg 来去除灰色背景。
# !pip install rembg
import rembg
result = rembg.remove(result)
result.show()
要运行深度 ControlNet，可以使用以下示例（另请参见 examples/depth_controlnet.py）：
import torch
import requests
from PIL import Image
from diffusers import DiffusionPipeline, EulerAncestralDiscreteScheduler, ControlNetModel
# 加载管道
pipeline = DiffusionPipeline.from_pretrained(
"sudo-ai/zero123plus-v1.1", custom_pipeline="sudo-ai/zero123plus-pipeline",
torch_dtype=torch.float16
)
pipeline.add_controlnet(ControlNetModel.from_pretrained(
"sudo-ai/controlnet-zp11-depth-v1", torch_dtype=torch.float16
), conditioning_scale=0.75)
# 随意调整调度器
pipeline.scheduler = EulerAncestralDiscreteScheduler.from_config(
pipeline.scheduler.config, timestep_spacing='trailing'
)
pipeline.to('cuda:0')
# 运行管道
cond = Image.open(requests.get("https://d.skis.ltd/nrp/sample-data/0_cond.png", stream=True).raw)
depth = Image.open(requests.get("https://d.skis.ltd/nrp/sample-data/0_depth.png", stream=True).raw)
result = pipeline(cond, depth_image=depth, num_inference_steps=36).images[0]
result.show()
result.save("output.png")
该示例运行需要约5.7GB的VRAM。
模型
模型可在 https://huggingface.co/sudo-ai 上获得：
sudo-ai/zero123plus-v1.1，基础 Zero123++ 模型发布（v1.1）。sudo-ai/controlnet-zp11-depth-v1，Zero123++（v1.1）的深度 ControlNet 检查点发布（v1）。sudo-ai/zero123plus-v1.2，基础 Zero123++ 模型发布（v1.2）。sudo-ai/controlnet-zp12-normal-gen-v1，Zero123++（v1.2）的法线生成 ControlNet 检查点发布（v1）。
用于 diffusers 自定义管道的源代码可在 diffusers-support 目录中找到。
相机参数
输出视图是固定的一组相机姿势：
- 方位角（相对于输入视角）：
30, 90, 150, 210, 270, 330。 - v1.1 仰角（绝对值）：
30, -20, 30, -20, 30, -20。 - v1.2 仰角（绝对值）：
20, -10, 20, -10, 20, -10。 - v1.2 视场（绝对值）：
30°。
本地运行演示
你需要安装额外的依赖项：
pip install -r requirements.txt
然后运行 streamlit run app.py。
对于 Gradio 演示，你可以运行 python gradio_app.py。
相关工作
[One-2-3-45] [One-2-3-45++] [Zero123]
引用
如果你认为 Zero123++ 有帮助，请引用我们的报告：
@misc{shi2023zero123plus,
title={Zero123++: a Single Image to Consistent Multi-view Diffusion Base Model},
author={Ruoxi Shi and Hansheng Chen and Zhuoyang Zhang and Minghua Liu and Chao Xu and Xinyue Wei and Linghao Chen and Chong Zeng and Hao Su},
year={2023},
eprint={2310.15110},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
