Stable Diffusion 多用户版

支持自动扩展、webui扩展API的stable diffusion多用户服务器API部署...

https://image.stable-ai.tech/

目录:

• [选项1] 使用Django API部署
  • 项目目录结构
  • 部署GPU服务器
  • 部署负载均衡服务器
• [选项2] 使用Runpod Serverless部署
• [选项3] 在Replicate上部署

[选项1] 使用Django API部署

特性:

• 提供stable-diffusion http API的服务器代码，包括:
  • CHANGELOG-230904: 支持torch2.0，调用txt2img和img2img时支持扩展API，支持所有与webui相同的API参数
  • txt2img
  • img2img
  • 检查生成进度
  • 中断生成
  • 列出可用模型
  • 更换模型
  • ...
• 支持civitai模型和lora等
• 支持多用户排队
• 支持多用户单独更换模型，互不影响
• 提供下游负载均衡服务器代码，自动在可用GPU服务器间进行负载均衡，并确保在一个生成周期内用户请求发送到同一服务器
• 可用于在一张GPU卡上部署多个stable-diffusion模型以充分利用GPU，详情请查看这篇文章

基于这些功能，您可以构建自己的UI、社区功能、账户登录和支付等！

项目目录结构

该项目大致可分为两部分：django服务器代码，以及用于初始化和运行模型的stable-diffusion-webui代码。我将主要解释django服务器部分。

在主项目目录中:

• modules/: stable-diffusion-webui模块
• models/: stable diffusion模型
• sd_multi/: django项目名称
  • urls.py: 服务器API路径配置
• simple/: 主要django代码
  • views.py: 主要API处理逻辑
  • lb_views.py: 负载均衡API
• requirements.txt: stable diffusion pip依赖
• setup.sh: 使用选项运行以设置服务器环境
• gen_http_conf.py: 在setup.sh中调用以设置apache配置

部署GPU服务器

1. SSH连接到GPU服务器
2. 克隆或下载仓库
3. 进入主项目目录(包含manage.py的目录)
4. 使用选项运行sudo bash setup.sh(查看setup.sh了解选项)(建议顺序：按文件顺序：env, venv, sd_model, apache)
   • 如果某些下载速度较慢，您可以手动下载并上传到服务器
   • 如果要更改监听端口：同时修改/etc/apache2/ports.conf和/etc/apache2/sites-available/sd_multi.conf
5. 重启apache: sudo service apache2 restart

API定义

• /：查看主页，用于测试Apache是否配置成功
• /txt2img_v2/：与sd-webui参数相同的文生图功能，同时支持扩展参数（如controlnet）
• /img2img_v2/：与sd-webui参数相同的图生图功能，同时支持扩展参数（如controlnet）
• 先前的API版本：查看old_django_api.md

部署负载均衡服务器

1. SSH连接到CPU服务器
2. 克隆或下载仓库
3. 进入主项目目录（包含manage.py的目录）
4. 运行sudo bash setup.sh lb
5. 执行mv sd_multi/urls.py sd_multi/urls1.py && mv sd_multi/urls_lb.py sd_multi/urls.py
6. 在simple/lb_views.py中修改ip_list变量，填入您自己的服务器IP和端口
7. 重启Apache：sudo service apache2 restart
8. 测试时，访问ip+端口/multi_demo/路径

本地测试负载均衡服务器

如果您不想部署负载均衡服务器但仍想测试功能，可以在本地计算机上启动负载均衡服务器。

1. 克隆或下载仓库
2. 要求：python3、django、django-cors-headers、replicate
3. 在simple/lb_views.py中修改ip_list变量，填入您自己的GPU服务器IP和端口
4. 进入主项目目录（包含manage.py的目录）
5. 运行mv sd_multi/urls.py sd_multi/urls1.py && mv sd_multi/urls_lb.py sd_multi/urls.py（重命名）
6. 运行python manage.py runserver
7. 点击终端中显示的URL，访问/multi_demo/路径

最后，您可以调用HTTP API（使用Postman进行测试）。

[选项二] 使用Runpod Serverless部署

特点：

• 高度自定义的扩展策略实现自动扩展
• 支持sd-webui检查点、Lora等
• Docker镜像与模型文件分离，随时上传和替换模型

部署指南和即用型Docker镜像请参见sd-docker-slim。

[选项三] 在Replicate上部署

Replicate演示已部署在此

特点：

• 自动扩展
• 最新的sd-webui源代码，最新的torch和cuda版本
• 使用torch 2.2的Docker镜像
• 支持带扩展的sd-webui API
• 支持sd-webui检查点、Lora等

部署步骤：

1. 在replicate上创建模型
2. 获取一台具有50GB磁盘空间的Linux GPU机器
3. 克隆仓库：

git clone https://github.com/wolverinn/stable-diffusion-multi-user.git
cd stable-diffusion-multi-user/replicate-cog-slim/

4. 修改replicate-cog-slim/cog.yaml第30行为您自己的replicate模型
5. [可选] 修改replicate-cog-slim/predicy.py的predict()函数以自定义API输入和输出
6. 安装cog：https://replicate.com/docs/guides/push-a-model
7. 安装docker：https://docs.docker.com/engine/install/ubuntu/#set-up-the-repository
8. 将要部署的检查点/Lora/扩展/其他模型下载到replicate-cog-slim/下的相应目录
9. 运行以下命令：

cog login
cog push

然后您可以在replicate上看到您的模型，并可以通过API或replicate网站使用它。