Github
Huggingface
论文项目概述
这是一个名为controlnet-openpose-sdxl-1.0的先进图像生成控制模型项目。该项目由xinsir开发，基于stabilityai/stable-diffusion-xl-base-1.0模型进行改进，采用Apache-2.0开源许可证。这是目前业内领先的姿态控制模型，可以实现精确的人物姿态控制生成。
核心特点
- 基于SDXL基础模型开发，支持高质量图像生成
- 采用OpenPose技术进行人体姿态识别和控制
- 支持精确的人物姿态控制和图像生成
- 在HumanArt数据集上取得了最优的mAP评分(0.357)
- 相比其他开源模型具有明显的性能优势
技术实现
该项目的实现主要依赖以下组件：
- ControlNetModel用于姿态控制
- StableDiffusionXLControlNetPipeline用于图像生成
- OpenposeDetector用于人体姿态检测
- 自定义的draw_bodypose函数用于优化姿态线条绘制
使用方法
使用该模型需要以下步骤：
- 导入必要的依赖包和模型
- 设置合适的提示词和负面提示词
- 加载预训练模型和调度器
- 处理输入图像并调整分辨率
- 使用pipeline生成目标图像
性能优化
为了获得更好的生成效果，项目提供了以下优化建议：
- 使用优化后的draw_bodypose函数替换默认实现
- 根据输入图像尺寸自动调整线条粗细
- 建议将输入图像调整为1024x1024分辨率
- 可以通过调整controlnet_conditioning_scale参数控制生成效果
评估结果
该模型在HumanArt数据集上进行了评估：
- 使用2000张带有真实姿态标注的图像
- 在mAP指标上达到0.357的成绩
- 显著优于其他开源模型的表现
应用场景
该模型可以广泛应用于：
- 人物图像的精确姿态控制生成
- 动画角色创作
- 人物动作参考图生成
- 艺术创作辅助工具
