RPG-DiffusionMaster

Canny 边缘

prompt 是大致概括图像内容的原始提示词

base_prompt 设置生成的基础提示词，是图像的概要，这里我们默认将 base_prompt 设置为原始输入提示词

base_ratio 是基础提示词的权重

还有其他常见的可选参数:

guidance_scale 是无分类器引导比例

num_inference_steps 是生成图像的步骤数

seed 控制种子以使生成可重现

需要注意的是，我们引入了一些重要参数:base_prompt & base_ratio

在添加你的 prompt 和 api-key，并设置你的 下载的扩散模型路径 后，只需运行以下命令即可获得结果:

python RPG.py

常见问题:如何正确设置 --base_prompt & --base_ratio ?

如果你想生成一张包含 同一类的多个实体 的图像(例如，两个女孩、三只猫、一个男人和一个女孩)，你应该使用 基础提示词，并使用 base_prompt 设置包含图像中每类实体数量的基础提示词。另一个相关参数是 base_ratio，这是基础提示词的权重。根据我们的实验，当 base_ratio 在 [0.35,0.55] 之间时，最终结果会更好。以下是上述命令生成的图像:

只要我们有相同的随机种子，你就会得到一张与我们结果类似的图像:

<表格居中> <行> <单元格宽度=100% 样式="无边框"><图片 src="https://yellow-cdn.veclightyear.com/ab5030c0/8583d4be-585a-4bfe-93ce-2f08c63d7736.png" 样式="宽度:100%"></单元格> </行> <行> <单元格宽度="100%" 样式="无边框; 文字居中; 自动换行">文本提示词:一个英俊的金发卷发年轻男子穿着黑色西装，和一个穿红色旗袍的黑色双马尾女孩在酒吧里。 </单元格> </行> </表格>

另一方面,当涉及到包含 多个不同类别的实体 的图像时,就不需要使用基础提示词,这里有一个例子:

from RegionalDiffusion_base import RegionalDiffusionPipeline
from RegionalDiffusion_xl import RegionalDiffusionXLPipeline 
from diffusers.schedulers import KarrasDiffusionSchedulers,DPMSolverMultistepScheduler
from mllm import local_llm,GPT4
import torch
# 如果你想加载ckpt,用".from_single_file"初始化。
pipe = RegionalDiffusionXLPipeline.from_single_file("你的ckpt路径",torch_dtype=torch.float16, use_safetensors=True, variant="fp16")
# #如果你想使用 diffusers，用".from_pretrained"初始化。
# pipe = RegionalDiffusionXLPipeline.from_pretrained("你的 diffusers 路径",torch_dtype=torch.float16, use_safetensors=True, variant="fp16")
pipe.to("cuda")
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config,use_karras_sigmas=True)
pipe.enable_xformers_memory_efficient_attention()
prompt= '从左到右，在柔和的晨光中，一个舒适的角落里有一杯冒着热气的星巴克拿铁放在一张朴实的桌子上，旁边是一个优雅的花瓶里盛开的玫瑰，同时一只毛茸茸的布偶猫舒服地在附近打着呼噜，它的眼睛半闭着，陶醉在幸福的宁静中。'
para_dict = GPT4(prompt,key='你的密钥')
split_ratio = para_dict['Final split ratio']
regional_prompt = para_dict['Regional Prompt']
negative_prompt = ""
images = pipe(
    prompt=regional_prompt,
    split_ratio=split_ratio, # 区域提示词的比例，提示词数量与区域数量相同
    batch_size = 1, #批量大小
    base_ratio = 0.5, # 基础提示词的比例    
    base_prompt= None, # 如果base_prompt为None，base_ratio将不起作用
    num_inference_steps=20, # 采样步骤
    height = 1024, 
    negative_prompt=negative_prompt, # 负面提示词
    width = 1024, 
    seed = None,# 随机种子
    guidance_scale = 7.0
).images[0]
images.save("test.png")

你将得到一张与我们结果类似的图像:

<表格居中> <行> <单元格宽度=100% 样式="无边框"><图片 src="https://yellow-cdn.veclightyear.com/ab5030c0/6767d711-45cc-4743-ba3f-64e087af8895.png" 样式="宽度:100%"></单元格> </行> <行> <单元格宽度="100%" 样式="无边框; 文字居中; 自动换行">文本提示词:从左到右，在柔和的晨光中，一个舒适的角落里有一杯冒着热气的星巴克拿铁放在一张朴实的桌子上，旁边是一个优雅的花瓶里盛开的玫瑰，同时一只毛茸茸的布偶猫舒服地在附近打着呼噜，它的眼睛半闭着，陶醉在幸福的宁静中。 </单元格> </行> </表格>

了解什么时候应该使用 base_prompt 很重要，如果这些参数设置不当，我们就无法获得令人满意的结果。我们在论文中对基础提示词进行了消融研究，你可以查看我们的论文获取更多信息。

3. 使用本地 LLM 的区域扩散

我们建议使用超过 130 亿参数的基础模型以获得高质量的结果，但这同时会增加加载时间和显存使用。我们用三种不同规模的模型进行了实验。这里我们以 llama2-13b-chat 为例:

from RegionalDiffusion_base import RegionalDiffusionPipeline
from RegionalDiffusion_xl import RegionalDiffusionXLPipeline
from diffusers.schedulers import KarrasDiffusionSchedulers,DPMSolverMultistepScheduler
from mllm import local_llm,GPT4
import torch
# 如果你想使用单个检查点，使用此管道
pipe = RegionalDiffusionXLPipeline.from_single_file("你的检查点路径",torch_dtype=torch.float16, use_safetensors=True, variant="fp16")
# 如果你想使用diffusers，使用此管道
# pipe = RegionalDiffusionXLPipeline.from_pretrained("你的diffusers路径",torch_dtype=torch.float16, use_safetensors=True, variant="fp16")
pipe.to("cuda")
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config,use_karras_sigmas=True)
pipe.enable_xformers_memory_efficient_attention()
prompt= '两个女孩在咖啡馆里聊天。'
para_dict = local_llm(prompt,model_path='你的模型路径') 
split_ratio = para_dict['Final split ratio']
regional_prompt = para_dict['Regional Prompt']
negative_prompt = ""
images = pipe(
    prompt=regional_prompt,
    split_ratio=split_ratio, # 区域提示的比例，提示数量与区域数量相同，提示数量与区域数量相同
    batch_size = 1, #批次大小
    base_ratio = 0.5, # 基础提示的比例    
    base_prompt= prompt,       
    num_inference_steps=20, # 采样步骤
    height = 1024, 
    negative_prompt=negative_prompt, # 负面提示
    width = 1024, 
    seed = 1234,# 随机种子
    guidance_scale = 7.0
).images[0]
images.save("test.png")

在本地版本中，添加你的提示并设置好扩散模型路径和本地MLLM/LLM路径后，只需运行以下命令即可获得结果：

python RPG.py 

# 📖BibTeX

@inproceedings{yang2024mastering, title={Mastering Text-to-Image Diffusion: Recaptioning, Planning, and Generating with Multimodal LLMs}, author={Yang, Ling and Yu, Zhaochen and Meng, Chenlin and Xu, Minkai and Ermon, Stefano and Cui, Bin}, booktitle={International Conference on Machine Learning}, year={2024} }

# 致谢
我们的RPG是一个通用的MLLM控制的文本到图像生成/编辑框架，它建立在几个坚实的工作基础之上。感谢[AUTOMATIC1111](https://github.com/AUTOMATIC1111/stable-diffusion-webui)、[regional-prompter](https://github.com/hako-mikan/sd-webui-regional-prompter)、[SAM](https://github.com/facebookresearch/segment-anything)、[diffusers](https://github.com/huggingface/diffusers)和[IA](https://github.com/geekyutao/Inpaint-Anything)的出色工作和代码库！我们还要感谢Hugging Face分享我们的[论文](https://huggingface.co/papers/2401.11708)。