#扩散模型

VideoComposer是一个开源的视频合成模型，能够同时控制生成视频的空间和时间特征。它支持文本、草图、参考视频等多种输入形式，为用户提供灵活的创作方式。项目包含预训练模型和用户界面，便于研究人员和开发者进行视频合成实验。

Cycle3D是一项图像到3D生成技术，通过生成-重建循环提高3D模型的质量和一致性。该技术结合2D扩散模型的纹理生成和3D重建的多视图一致性，在多步扩散过程中交替使用这两个模块。Cycle3D在生成质量和视图一致性方面表现优异，为3D内容创作提供了新的解决方案。

DiffSynth Studio是一款开源的扩散模型引擎，整合了ExVideo、Stable Diffusion 3和Kolors等多种AI模型。该引擎支持长视频合成、高分辨率图像生成、卡通渲染和视频风格化等功能。项目持续更新，重点探索扩散模型在视频合成领域的应用潜力。

Seeing-and-Hearing项目提出了一种优化框架，用于跨模态和联合视听内容生成。该方法使用预训练的ImageBind模型连接独立的视频和音频生成模型，实现双向条件生成和联合视听生成。这一技术适用于视频到音频、音频到视频、图像到音频等多种任务，为内容创作提供了新的可能。

InFusion项目提出了一种创新的3D场景修复方法，通过学习扩散先验的深度完成来修复3D高斯体。该技术实现了对不完整3D场景的高质量修复，能够处理复杂的遮挡情况。InFusion为3D重建和虚拟现实等领域提供了新的解决方案，项目开源了推理代码和预训练模型，为相关研究和开发提供了重要资源。

DiffSHEG是一种基于扩散模型的实时语音驱动3D表情和手势生成技术。该方法能够生成与语音同步的全息3D表情和手势，适用于不同长度的语音输入。DiffSHEG为虚拟人物动画和人机交互领域提供了新的解决方案，有助于创建更具表现力的虚拟角色。

MultiBooth是一种新型多概念图像生成技术，通过单概念学习和多概念集成两个阶段提高了生成效果。该方法使用多模态图像编码器和概念编码技术，学习每个概念的表示，并利用边界框定义生成区域，实现高质量的多概念图像生成。MultiBooth在生成质量和计算效率方面均优于现有方法，为文本到图像生成领域提供了新的解决方案。

Prompt-to-Prompt是一个基于潜在扩散和稳定扩散模型的图像编辑项目。它通过注意力机制控制,实现了替换、细化和重新加权等多种提示词编辑方式。项目还包含用于编辑真实图像的空文本反转技术,能够通过简单的文本提示实现精确的图像编辑和生成。

UniAnimate是一个用于生成长时间人物视频的创新框架。它将参考图像、姿势指导和噪声视频映射到共同特征空间，并支持随机和首帧条件输入。该方法在评估中优于现有技术，可生成高度一致的一分钟视频，为人物图像动画带来新的可能。

Surf-D是一种新型3D形状生成方法，通过扩散模型生成具有任意拓扑结构的高质量表面。它采用无符号距离场(UDF)表示表面，并使用基于点的自动编码器学习紧凑的潜在空间。该方法在无条件生成、类别条件生成、图像条件生成和文本到形状等任务中表现优异，为多模态3D内容创作提供了新的可能性。

Diff-HierVC是一种分层语音转换系统，采用DiffPitch和DiffVoice两个扩散模型。DiffPitch生成目标音高，DiffVoice转换语音风格。系统还使用源滤波器编码器和掩蔽先验技术，提高语音风格迁移和说话人适应能力。在零样本语音转换中，Diff-HierVC实现0.83%字错率和3.29%等错率，展现出色的音高生成和语音风格迁移性能。

VEnhancer是一个时空增强框架，旨在提高文本到视频(T2V)生成模型的输出质量。该框架基于ControlNet结构，整合了预训练视频扩散模型的多帧编码器和中间块，构建可训练的条件网络。VEnhancer接收低分辨率关键帧和完整噪声潜在帧作为输入，通过噪声增强和下采样因子进行网络调节，从而生成更高质量、更连贯的视频内容。

该研究揭示并解决了图像到视频扩散模型中的条件图像依赖问题。研究团队提出了适用于DynamiCrafter、SVD和VideoCrafter1等多种模型的即插即用推理和训练策略。这些策略减轻了模型对条件图像的过度依赖,增强了生成视频的动态效果。项目开源的代码、模型和演示为图像到视频生成研究提供了重要参考。

PyDiff项目利用金字塔扩散模型技术增强低光照图像。在LOL数据集上，其PSNR达27.09，SSIM为0.93，展现出优异性能。项目开源了训练和测试代码，支持多GPU训练，并可用于自定义低级任务数据集。PyDiff为低光照图像增强研究提供了有力工具。

MasaCtrl是一种基于互自注意力控制的图像处理技术，实现了一致性图像合成和编辑。该方法结合源图像内容和文本提示生成的布局，无需额外微调即可进行非刚性图像修改。MasaCtrl支持多种应用场景，包括基于提示的合成、真实图像编辑、与可控扩散模型集成等，并可扩展到视频合成。这一技术兼容Stable Diffusion等多种模型，为图像创作提供了新的可能性。

BrushNet是一种新型图像修复模型，采用双分支扩散结构，可集成到预训练扩散模型中。通过分离遮罩图像特征和噪声潜在表示，并对预训练模型实施像素级控制，提高了图像修复效果。该模型适用于通用场景和特定应用，为图像编辑和生成提供了新的解决方案。

VideoBooth是一个AI视频生成项目，利用扩散模型技术基于图像提示创建视频。该项目将静态图像主体转化为动态视频，实现图像到视频的转换。VideoBooth采用两阶段训练方法，提供安装、推理和训练指南。项目还公开了专门数据集，为研究提供资源。

IDM-VTON项目改进了扩散模型在虚拟试衣领域的应用。该技术能在复杂背景和姿势下生成逼真的服装搭配效果，克服了传统方法的局限性。项目开源了训练和推理代码，支持VITON-HD和DressCode等数据集，并提供在线演示。这一技术为时尚电商和个人造型应用提供了新的可能性。

MuseV是一个基于扩散模型的开源虚拟人视频生成框架。该框架支持无限长度视频生成，采用视觉条件并行去噪方案，兼容Stable Diffusion生态系统。MuseV支持图像到视频、文本到视频、视频到视频等多种生成模式，并提供多参考图像技术。该项目还开源了训练代码，为研究人员和开发者提供了完整的虚拟人视频生成解决方案。

本项目汇总了扩散模型在图像处理领域的最新研究进展，涵盖图像复原、增强、编码和质量评估等方面。重点关注图像超分辨率、修复和去噪等任务，提供全面的调查报告和定期更新的研究成果。项目收录了大量相关开源代码和数据集资源，为研究人员提供了重要的参考信息。

FreeU是一种无需额外训练或资源的扩散模型优化方法。通过调整U-Net架构中的backbone和skip connection，它显著提升了样本质量。这一技术适用于SD1.4、SD1.5、SD2.1和SDXL等多种模型，为AI图像生成领域带来重要进展。FreeU的创新性获得了CVPR2024口头报告的认可。

diffusion-nbs项目是一个专注于扩散模型的入门资源集合。该项目提供了一系列教程和Jupyter notebooks示例，旨在帮助初学者和研究人员理解扩散模型的基本概念。内容涵盖了扩散过程的原理和实践应用，为学习者提供了扎实的基础知识，并展示了如何在各种场景中应用这一技术。

Mix-of-Show是一种扩散模型多概念定制技术,通过去中心化低秩适应实现单概念和多概念融合。它可生成高质量动漫和真实人物图像,无需正则化数据集,支持区域可控的多概念采样。该项目开源了训练和推理代码,为扩散模型个性化提供新方案。

DiffusionLight项目提出一种新颖的单图像光照估计技术，通过扩散模型在输入图像中渲染镀铬球。该方法利用大规模图像数据训练的扩散模型，发现镀铬球外观与初始噪声图的关系，并通过LoRA微调实现HDR光照估计。这一技术克服了现有方法在实际场景中的局限性，在多样化环境中展现出优异的光照估计效果和泛化能力。

EMO是一种音频到视频的扩散模型，可在弱条件下生成表现力丰富的肖像视频。该项目由阿里巴巴智能计算研究院开发，将音频输入转化为面部表情和头部动作，增强数字人物的自然度和情感表达。EMO技术在虚拟主播和数字人互动等领域具有应用潜力，可提供更真实的视觉体验。

Blended Latent Diffusion是一种创新的局部文本引导图像编辑技术。该方法在低维潜在空间中操作，显著提高了编辑效率。通过融合扩散技术和优化策略，它解决了图像重建精度问题，并支持细微区域的局部编辑。与现有方法相比，Blended Latent Diffusion不仅处理速度更快，还实现了更高的编辑精度，同时减少了常见的图像伪影。该技术可应用于背景编辑、文本生成和对象修改等多个领域。

DreaMoving是一个基于扩散模型的视频生成框架，专注于创建高质量的定制人物视频。该系统可根据文本描述在多样化场景中生成人物动作视频，例如海滩、公园和埃及金字塔等。这个由阿里巴巴智能计算研究院开发的项目提供中英文在线演示，体现了人工智能在视频生成领域的最新技术进展。

Awesome-Text-to-3D是一个汇集文本到3D和扩散到3D领域最新研究成果的开源项目。它涵盖了从零样本文本引导对象生成到高保真3D人脸生成等多个方向的前沿论文。项目定期更新，并提供教程视频和引用信息，为研究人员和开发者提供了跟踪该领域进展的综合资源。

UDiffText是一个基于字符级扩散模型的文本合成框架，能在任意图像中生成高质量文本。该框架适用于合成和真实图像，可进行场景文本编辑、任意文本生成和精确的文本到图像生成。项目包含完整的训练和评估流程，支持LAION-OCR、ICDAR13等多个数据集。UDiffText为文本合成和图像处理领域提供了新的解决方案。

fast-DiT 项目提供了扩散模型转换器（DiT）的改进 PyTorch 实现。该项目包含预训练的类条件 DiT 模型、Hugging Face Space 和 Colab 笔记本，以及优化的训练脚本。通过采用梯度检查点、混合精度训练和 VAE 特征预提取等技术，显著提升了训练速度和内存效率。这一实现为研究人员和开发者提供了探索和应用扩散模型的有力工具。

FontDiffuser是一个基于多尺度内容聚合和风格对比学习的字体生成模型。它能够生成新颖字符和风格,支持跨语言生成(如中文到韩文)。该模型在处理复杂字符和大幅风格变化方面表现优异,达到了领先水平。FontDiffuser生成的结果可与InstructPix2Pix结合用于进一步装饰。项目开源并提供在线演示。

DIVA是一种创新方法,利用扩散模型作为视觉助手优化CLIP表示。通过文本到图像扩散模型的生成反馈,DIVA无需配对文本数据即可提升CLIP视觉能力。在MMVP-VLM细粒度视觉评估基准上,DIVA显著提升了CLIP性能,同时保持了其在29个图像分类和检索基准上的强大零样本能力。这为增强视觉语言模型的视觉理解开辟了新途径。

Tune-A-Video项目通过微调预训练的文本到图像扩散模型，实现高质量文本到视频生成。该方法仅需一个视频-文本对作为输入，即可快速适应新的视频生成任务。支持Stable Diffusion等多种预训练模型，能生成多样化风格的视频内容。项目开源代码实现，提供在线演示和预训练模型，为研究和开发提供便捷的文本到视频生成工具。

Hugging Face推出的扩散模型免费课程涵盖理论研究和实践应用。课程内容包括使用Diffusers库生成图像和音频、训练和微调扩散模型、探索条件生成和引导技术、创建自定义模型管道等。适合具备Python和深度学习基础的学习者，提供全面的扩散模型学习体验。

FouriScale是一种基于频域分析的高分辨率图像生成方法。该技术在预训练扩散模型中引入膨胀技术和低通操作，解决了结构和尺度一致性问题。FouriScale可处理不同宽高比的文本到图像生成任务，平衡图像结构完整性和保真度，实现任意大小、高分辨率、高质量的图像生成。这种方法简单且兼容性强，为超高分辨率图像合成研究提供了新思路。

Denoising Diffusion Probabilistic Model在Pytorch中的实现，通过去噪得分匹配估计数据分布梯度，并使用Langevin采样生成样本。这种方法可能成为GANs的有力竞争者。项目支持多GPU训练，提供详细的安装和使用指南，是研究人员和开发者的高效工具，支持1D序列数据和图像数据的生成和训练。