LLM-groundedDiffusion

LLM-grounded Diffusion 项目介绍

项目背景

在现代科技中，生成具有高质量和准确性的图像一直是计算机科学的重要课题之一。LLM-grounded Diffusion （LMD）通过将大语言模型（LLM）与图像扩散模型结合，从而能够提升从文本到图像生成过程中对提示的理解能力，旨在提高生成图像的清晰度和准确度。

项目核心原理

LLM-grounded Diffusion 的工作流程如下：

1. 文本提示：用户提供一个简单的描述或提示。
2. 大语言模型作为请求解析器：该模型负责处理和解析提示，生成中间表示，如图像布局。
3. 中间表示生成：基于解析的结果生成一个图像布局，这一步可能包含对背景和否定提示的理解。
4. 扩散模型稳定生成图像：最终利用稳定扩散模型（Stable Diffusion）将布局转化为高质量的图像。

这种方法通过增加处理理解层，使模型不仅能够生成图像，还能更好地理解和处理复杂的文本描述和要求。

项目更新与支持特性

1. 无API调用的自托管选项：通过Mixtral-8x7B-Instruct-v0.1等，可以在自身的服务器上运行LMD/LMD+以获得良好的效果。
2. SDXL图像精炼器支持：新增加对高分辨率和高质量图像生成的支持。
3. 开源模型集成：支持多种开源LLM，有助于降低使用成本，增加使用灵活性。

实现方式和基准结果

LLM-grounded Diffusion 实现了多种从布局到图像的方法，包括：

• LMD：利用原始SD权重进行图像生成，不需要训练。
• LMD+：在LMD基础上增补GLIGEN接头，提升生成效果。

这些方法的性能在多个基准测试中展示了优异的结果，尤其是在理解否定语、数量关系、属性绑定和空间关系的场景下，使用LMD+可以达到近乎完美的理解和生成表现。

如何使用

• 安装分步引导：

  • 使用包括pip安装所需的依赖项。
  • 完成后可选择使用OpenAI的API或者手动将输入复制到ChatGPT，以便在本地生成布局。

• 文本到布局生成：

  • 支持自动化和手动模式，只需几行代码便可实现从文本到布局的生成。

• 布局到图像生成：

  • 提供生成脚本和基础模型，使用户能够轻松进行布局到图像的生成。

其他特性

• 并行与可重开的图像生成：支持多GPU与服务器的并行处理。
• 模块化架构：不同的方法在不同的文件里独立实现，易于扩展和修改。
• 网络UI支持：为不想编程或运行任何代码的用户准备了基于Web的用户界面。

联系与致谢

如有疑问，请联系 Long (Tony) Lian：longlian@berkeley.edu。该项目借鉴了许多开源代码，包括diffusers、GLIGEN等，所有未从其他仓库引入的代码均遵循MIT许可证。

总之，LLM-grounded Diffusion 提供了一种创新的、灵活的方式来优化从文本到图像的生成过程，为研究人员和开发人员创造了新的可能性。