Github
Huggingface
文档
论文项目概述
control_v11p_sd15_canny是一个基于ControlNet v1.1的图像生成模型，它是ControlNet v1.0的升级版本。该模型由Lvmin Zhang和Maneesh Agrawala开发，专门用于对预训练的大型扩散模型进行控制，使其能够支持额外的输入条件。
技术特点
这个模型采用了神经网络结构，能够以端到端的方式学习特定任务的条件。即使在训练数据集较小的情况下（少于5万条数据），学习过程仍然相当稳健。训练速度与微调扩散模型相当，并且可以在个人设备上完成。如果有强大的计算集群，该模型还可以扩展到处理大量数据（数百万到数十亿）。
功能优势
该模型可以与Stable Diffusion v1-5等扩散模型结合使用，能够处理边缘图、分割图、关键点等多种条件输入。这极大地丰富了控制大型扩散模型的方法，为相关应用提供了更多可能性。
版本改进
相比于1.0版本，control_v11p_sd15_canny在以下方面进行了显著改进：
- 修复了训练数据集中的问题，包括消除了重复的灰度人像图像
- 提高了图像质量，去除了模糊和JPEG压缩失真
- 纠正了数据处理脚本中的错误匹配提示
- 使用8台Nvidia A100 80G GPU进行了为期3天的大规模训练
- 引入了合理的数据增强技术，如随机左右翻转
- 整体表现更稳定，视觉质量更高
使用方法
使用该模型需要安装以下依赖：
- opencv-contrib-python
- diffusers
- transformers
- accelerate
模型可以通过Python代码调用，支持多种图像处理任务，尤其擅长处理边缘检测相关的图像生成工作。
应用场景
该模型可以应用于多个领域：
- 艺术创作和图像生成
- 图像编辑和处理
- 视觉效果制作
- 设计辅助工具
授权说明
该模型采用CreativeML OpenRAIL M许可证，这是一个开放的RAIL M许可证，允许在遵守相关规定的情况下进行使用和分发。
