Github
Huggingface
文档
论文项目介绍：control_v11e_sd15_ip2p
项目背景
control_v11e_sd15_ip2p是一个由Lvmin Zhang和Maneesh Agrawala共同开发的神经网络项目，该项目是ControlNet v1.1版本的一部分，旨在为大型扩散模型提供额外的控制条件。ControlNet是一种神经网络结构，通过增加额外条件来控制扩散模型。它在文本到图像生成领域尤为重要，特别是在支持多种输入条件的情况下。
项目描述
control_v11e_sd15_ip2p是基于Stable Diffusion v1.5的一个扩展项目，使用了controlnet技术来增强图像生成的控制性。该项目采用的ControlNet结构允许在训练好的大规模扩散模型中支持附加条件的输入，如像素到像素指令。
该项目使用了CreativeML OpenRAIL M开源许可证，允许开发者在开放和负责的AI开发原则下使用和修改该工具。
核心功能
control_v11e_sd15_ip2p的核心功能在于利用Stable Diffusion模型生成条件图像，这些条件可能包括边缘图、分割图、关键点等形式，以提高大规模扩散模型的可控性和应用范围。通过将ControlNet整合到这些模型中，开发者可以在图像生成任务中获得更大的自由度和灵活性。
应用场景
- 艺术创作：通过提供详细的图像条件输入，艺术家可以生成符合特定创作意图的图像作品。
- 图像处理与改进：利用模型的图像到图像处理能力，实现图像细节的增强和修复。
- 计算机视觉研究：为计算机视觉和图像生成研究提供一个可拓展的框架。
实验演示
以下是一个简单的实验框架，开发者可以按照以下步骤测试模型的性能：
import torch
from diffusers import (
ControlNetModel,
StableDiffusionControlNetPipeline,
UniPCMultistepScheduler,
)
checkpoint = "lllyasviel/control_v11e_sd15_ip2p"
image_url = "https://huggingface.co/lllyasviel/control_v11e_sd15_ip2p/resolve/main/images/input.png"
prompt = "make it on fire"
controlnet = ControlNetModel.from_pretrained(checkpoint, torch_dtype=torch.float16)
pipe = StableDiffusionControlNetPipeline.from_pretrained(
"runwayml/stable-diffusion-v1-5", controlnet=controlnet, torch_dtype=torch.float16
)
pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config)
pipe.enable_model_cpu_offload()
generator = torch.manual_seed(0)
generated_image = pipe(prompt, num_inference_steps=30, generator=generator, image=image_url).images[0]
generated_image.save('image_out.png')
结论
ControlNet项目，特别是control_v11e_sd15_ip2p的发布，为扩散模型的可控性提供了新的可能。通过融合文本和图像指令，这一项目不仅扩展了图像生成的可能性，也为研究者和开发者在人工智能艺术、计算机视觉等领域提供了新的工具。
