#图像生成

DiT-MoE项目采用混合专家模型，将扩散Transformer扩展至16亿参数规模。作为扩散Transformer的稀疏版本，DiT-MoE在保持与密集网络相当性能的同时，实现了高效的推理。项目提供PyTorch实现、预训练权重和训练/采样代码，并包含专家路由分析和Hugging Face检查点。通过混合专家方法，DiT-MoE在模型扩展和推理优化方面展现出显著优势。

本项目综述了大语言模型在多模态生成和编辑领域的应用。涵盖图像、视频、3D和音频等多种模态，重点介绍基于大语言模型的技术。同时探讨多模态代理、理解和安全性问题。为研究人员提供全面资源，展示大语言模型在多模态内容创作中的最新进展。

Lumina-mGPT是一个多模态自回归模型系列，适用于多种视觉和语言任务。这个开源项目特别擅长将文本描述转化为逼真图像，提供7B和34B两种参数规模的模型，以及多种图像分辨率选项。除图像生成外，Lumina-mGPT还支持图像理解和全能型任务，为AI研究和应用开发提供了灵活的工具。

UltraPixel是一种超高分辨率图像合成技术，可生成2K到4K分辨率的高质量图像。项目支持文本引导、个性化和ControlNet图像生成，为图像合成和视觉艺术领域提供了新的工具。通过详细的提示词，可以生成细节丰富的图像。

ControlNeXt是一个创新的可控生成框架，支持图像和视频的多样化控制。该项目大幅减少可训练参数，提高收敛速度和效率。基于Stable Diffusion等先进模型，ControlNeXt实现了包括人体姿态控制在内的多种生成任务。此外，它还可与LoRA等技术结合，提供更灵活、稳定的生成体验。

FlashFace是一项人物图像个性化生成技术，可在几秒内实现零样本人物图像定制，具有出色的身份保持能力。该技术能精确响应语言提示，并支持灵活调整身份图像和语言提示的控制强度。FlashFace可使用单张或多张参考人脸，对非名人也能有效保持身份特征，同时支持改变人物年龄或性别。

MultiBooth是一种新型多概念图像生成技术，通过单概念学习和多概念集成两个阶段提高了生成效果。该方法使用多模态图像编码器和概念编码技术，学习每个概念的表示，并利用边界框定义生成区域，实现高质量的多概念图像生成。MultiBooth在生成质量和计算效率方面均优于现有方法，为文本到图像生成领域提供了新的解决方案。

sygil-webui是基于Stable Diffusion的开源Web界面，集成了文本生成图像、图像编辑等功能。项目支持GFPGAN和RealESRGAN图像增强，提供生成预览和CPU运行选项。适用于Windows和Linux系统，界面友好，可自定义程度高。

HumanVid是一项致力于相机可控人物图像动画的研究项目。该项目通过优化训练数据利用，旨在实现对人物图像的精确控制和自然动画效果。HumanVid简化了图像处理流程，为研究者和开发者提供了新的工具。项目团队计划在近期发布相关数据，并将于2024年9月底开源训练和推理代码以及模型检查点，有望为计算机视觉和图形学领域带来新的研究方向。HumanVid项目致力于探索如何通过优化训练数据来实现相机可控的人物图像动画，为该领域的进步贡献力量。

DiG项目提出了一种基于门控线性注意力的扩散模型,用于解决现有模型在可扩展性和计算效率方面的挑战。该模型在高分辨率下展现出显著的训练速度提升和内存节省,性能优于DiT。DiG在不同计算复杂度下表现出色,随着模型深度/宽度增加或输入令牌增强,FID值持续下降。与其他次二次时间复杂度的扩散模型相比,DiG在多种分辨率下都展现出卓越的效率。

OOTDiffusion是一项基于AI的虚拟试衣技术，通过先进的扩散模型实现服装与人物模型的精确融合。该技术支持半身和全身模型，生成高质量的试穿效果图。项目开源了预训练模型和推理代码，并提供在线演示。OOTDiffusion在虚拟试衣和时尚电商领域展现出显著优势，为这些行业提供了创新的技术解决方案。

InstanceDiffusion为文本到图像的扩散模型引入精确的实例级控制。该技术支持每个实例的自由语言条件，可灵活指定实例位置，包括单点、涂鸦、边界框和实例分割掩码。相比现有技术，InstanceDiffusion在框输入的AP50上提升2.0倍，掩码输入的IoU提高1.7倍，为图像生成和编辑领域带来新的可能性。

MS-Diffusion是一个多主体零样本图像个性化框架，利用布局引导技术提高生成质量。该框架通过接地令牌和特征重采样器保持细节保真度，并引入多主体交叉注意力机制协调主体组合。实验显示，MS-Diffusion在图像和文本保真度方面表现优异，有助于推进个性化文本到图像生成技术的发展。

该资源库汇集了视觉生成评估领域的各种方法。内容涵盖图像和视频生成模型评估、样本质量评估及用户控制一致性评估等多个方面。项目详细介绍了Inception Score、Fréchet Inception Distance等经典指标及最新评估方法。同时收录了视觉生成改进研究和其他相关资源,为该领域研究者提供全面参考。

Normal-Depth Diffusion Model是一个创新的文本到3D生成模型，采用法线深度扩散技术生成细节丰富的3D模型。该项目支持单视图和多视图生成，提供预训练权重、推理和训练代码，以及Objaverse数据集的多视图渲染图像。这一模型为3D内容创作开辟新途径，可应用于艺术设计等多个领域。

RCG是一种创新的自监督图像生成框架，在ImageNet 256x256数据集上达到了无条件图像生成的最佳性能。该框架缩小了无条件和有条件图像生成之间的性能差距。项目提供基于PyTorch的GPU实现，包含表示扩散模型(RDM)以及MAGE、DiT、ADM和LDM等多种像素生成器的训练和评估代码。同时提供预训练模型和可视化工具，便于研究人员复现和拓展相关工作。

MotionAgent是一个基于深度学习的视频生成工具，集成了脚本创作、场景图生成、视频制作和背景音乐创作功能。该工具支持根据指定主题自动生成脚本，可生成高分辨率视频和自定义风格背景音乐。MotionAgent基于ModelScope开源模型社区开发，为视频创作提供了自动化解决方案。

该项目汇总了文本到3D和图像到3D的前沿生成技术。内容涵盖基于2D先验模型学习3D的方法，以及直接在3D数据上训练的生成模型。资源列表包含DreamFusion、Magic3D、Shap·E等创新方法，展现了从文本或单一图像生成高质量3D内容的最新进展。这为研究人员和开发者提供了探索和应用3D生成技术的重要参考。

IDM-VTON项目改进了扩散模型在虚拟试衣领域的应用。该技术能在复杂背景和姿势下生成逼真的服装搭配效果，克服了传统方法的局限性。项目开源了训练和推理代码，支持VITON-HD和DressCode等数据集，并提供在线演示。这一技术为时尚电商和个人造型应用提供了新的可能性。

sd-webui-regional-prompter是Stable Diffusion WebUI的一个扩展，可为图像不同区域指定独立提示词。支持多种区域划分方式，包括垂直、水平、2D以及基于蒙版和提示词的指定。此外还具备LoRA应用控制、区域可视化和API功能，提高了AI图像生成的精确度和灵活性。

Stable Cascade是一种新型文本到图像生成模型，采用高度压缩的潜在空间技术。它由三个阶段组成，可将1024x1024图像压缩至24x24尺寸，同时保持清晰重建效果。与Stable Diffusion相比，该模型实现了更快的推理速度和更低的训练成本。Stable Cascade在提示对齐和图像质量方面表现优异，并支持微调、ControlNet和LoRA等多种扩展功能，适用于对效率要求较高的应用场景。

FreeU是一种无需额外训练或资源的扩散模型优化方法。通过调整U-Net架构中的backbone和skip connection，它显著提升了样本质量。这一技术适用于SD1.4、SD1.5、SD2.1和SDXL等多种模型，为AI图像生成领域带来重要进展。FreeU的创新性获得了CVPR2024口头报告的认可。

InstaFlow是一种基于Rectified Flow技术的单步图像生成器。该技术能生成接近Stable Diffusion质量的图像，同时大幅降低计算资源需求。InstaFlow通过直接将噪声映射到图像，避免了扩散模型的多步采样过程，将推理时间缩短至约0.1秒，比Stable Diffusion提高了约90%的效率。此外，InstaFlow还具有高质量输出和简单高效的训练过程等特点。

PhotoMaker是一款创新的AI图像生成工具,能在几秒内定制生成高度逼真的人像照片。它保持了优秀的身份保真度,同时兼顾多样性和高质量输出。作为适配器,PhotoMaker可与其他基础模型和LoRA模块无缝协作。该工具支持真实照片和风格化生成,为创作提供灵活空间。PhotoMaker操作简单,无需额外训练即可实现个性化,为AI驱动的图像生成领域带来积极影响。

EditAnything 是一个开源的图像编辑和生成项目,集成了 Segment Anything、ControlNet 和 Stable Diffusion 等先进技术。该项目支持跨图像区域拖放、服装和发型编辑、美颜处理等功能,还可根据简单草图生成图像。EditAnything 提供自定义编辑和布局对齐控制,为图像处理带来更大灵活性,适用于创意设计和内容创作等领域。

diffusion-nbs项目是一个专注于扩散模型的入门资源集合。该项目提供了一系列教程和Jupyter notebooks示例，旨在帮助初学者和研究人员理解扩散模型的基本概念。内容涵盖了扩散过程的原理和实践应用，为学习者提供了扎实的基础知识，并展示了如何在各种场景中应用这一技术。

ConsistencyDecoder是一个开源项目，旨在优化稳定扩散变分自编码器(VAE)的解码过程。该解码器生成的图像质量优于传统GAN解码器，在细节保留和整体画质上表现突出。项目具有简便的安装和使用流程，支持CUDA加速，并可与StableDiffusionPipeline无缝集成。项目提供的对比示例直观展示了ConsistencyDecoder的性能优势。

LooseControl是一种提升ControlNet能力的深度条件生成控制技术，实现了更通用的深度条件控制。该开源项目提供UI界面和Python API，支持基于粗略深度图的图像生成和风格保持编辑。LooseControl适用于多种场景，为计算机视觉和图像生成领域提供了新的研究方向。

GAN Compression项目提出了一种通用的条件生成对抗网络压缩方法,可将pix2pix、CycleGAN等模型的计算量减少9-29倍,同时保持视觉质量。该方法适用于多种生成器架构和学习目标,支持配对和非配对数据。项目开源了预训练模型、演示和教程,便于研究和应用。

ComfyUI_IPAdapter_plus为ComfyUI提供了强大的图像条件控制功能。该项目实现了多种IPAdapter模型,可将参考图像的风格或主题迁移到生成图像中。支持SD1.5和SDXL,提供基础、轻量和加强等版本。高级功能包括FaceID、批处理和动画支持。通过调整参数,可实现从风格迁移到精确布局复制等多样效果。

Blended Latent Diffusion是一种创新的局部文本引导图像编辑技术。该方法在低维潜在空间中操作，显著提高了编辑效率。通过融合扩散技术和优化策略，它解决了图像重建精度问题，并支持细微区域的局部编辑。与现有方法相比，Blended Latent Diffusion不仅处理速度更快，还实现了更高的编辑精度，同时减少了常见的图像伪影。该技术可应用于背景编辑、文本生成和对象修改等多个领域。

UDiffText是一个基于字符级扩散模型的文本合成框架，能在任意图像中生成高质量文本。该框架适用于合成和真实图像，可进行场景文本编辑、任意文本生成和精确的文本到图像生成。项目包含完整的训练和评估流程，支持LAION-OCR、ICDAR13等多个数据集。UDiffText为文本合成和图像处理领域提供了新的解决方案。

fast-DiT 项目提供了扩散模型转换器（DiT）的改进 PyTorch 实现。该项目包含预训练的类条件 DiT 模型、Hugging Face Space 和 Colab 笔记本，以及优化的训练脚本。通过采用梯度检查点、混合精度训练和 VAE 特征预提取等技术，显著提升了训练速度和内存效率。这一实现为研究人员和开发者提供了探索和应用扩散模型的有力工具。

PuLID是一种基于对比对齐的ID定制技术，能够快速生成高质量个性化图像。该项目提供本地Gradio和在线Hugging Face演示，并获得社区广泛支持，包括Colab和Replicate等第三方实现。PuLID旨在推动AI图像生成领域的发展，为研究人员和开发者提供实用工具和资源。

LFM项目创新性地将流匹配应用于预训练自编码器的潜空间，显著提升高分辨率图像生成的效率。这种方法不仅在计算资源有限的情况下保持了图像质量，还首次将条件生成任务融入流匹配框架。经过广泛测试，LFM在多个数据集上均取得了优异的定量和定性结果。

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。