MultiDiffusion 是一个统一框架，通过预训练的文字转图像扩散模型，实现多功能且可控的图像生成，无需进一步训练或微调。该框架支持用户使用各种控制信号，如纵横比和空间引导信号，生成高质量、多样化的图像。MultiDiffusion 优化了多重扩散生成过程，使用一组共享参数或约束，支持局部和全局编辑，适用于如烟雾、火焰和雪等半透明效果。

ControlNeXt是一个创新的可控生成框架，支持图像和视频的多样化控制。该项目大幅减少可训练参数，提高收敛速度和效率。基于Stable Diffusion等先进模型，ControlNeXt实现了包括人体姿态控制在内的多种生成任务。此外，它还可与LoRA等技术结合，提供更灵活、稳定的生成体验。

该项目汇集了文本到图像扩散模型中可控生成的前沿研究。内容涵盖个性化生成、空间控制、高级文本条件生成等多个方向,并总结了多条件生成和通用可控生成方法。项目为研究人员和开发者提供了全面了解可控T2I扩散模型最新进展的资源,有助于促进该领域的发展。

该项目收集了扩散模型中可控生成的前沿论文和资源,涵盖ControlNet、DreamBooth等开创性工作及图像、视频、3D生成的最新应用。内容包括精细合成控制、主题驱动生成和复杂布局操作等技术,汇集80余篇精选论文,全面覆盖可控生成领域的多种技术和应用,为相关研究者提供重要参考。