Awesome-Diffusion-Transformers

扩散模型与Transformer融合的前沿研究进展汇总

Diffusion Transformers AI生成计算机视觉深度学习图像合成 Github 开源项目

本列表汇总了扩散模型与Transformer架构结合的最新研究进展，涵盖图像、视频、语音和3D等多个领域。每个项目均包含发表时间、会议信息、任务类型和资源链接。列表持续更新，为研究者和开发者提供便捷途径跟踪这一快速发展的领域动态。

PixArt-alpha - 高效训练的Transformer扩散模型实现逼真文本到图像生成

GithubPixArt-αTransformer开源项目扩散模型文本生成图像高效训练

PixArt-α是一个基于Transformer的文本到图像扩散模型，其生成图像质量可与Imagen、SDXL等最先进的图像生成器相媲美。该模型的训练速度显著超过现有大规模模型，仅需Stable Diffusion v1.5训练时间的10.8%。通过采用训练策略分解、高效Transformer结构和高信息量数据等创新设计，PixArt-α在大幅降低训练成本的同时，保证了优秀的图像生成质量、艺术性和语义控制能力。

micro_diffusion - 低成本训练大规模扩散模型的开源方案

Githubdiffusion models低成本大规模模型开源开源项目模型训练

micro_diffusion是一个开源项目，旨在提供低成本训练大规模扩散模型的方法。该项目计划发布完整训练代码和模型检查点，为研究人员和AI爱好者提供实验资源。通过降低研究门槛，micro_diffusion有望促进扩散模型领域的广泛参与和创新。

Live2Diff - 革新视频扩散模型的实时流翻译技术

AI模型GithubLive2Diff实时流处理开源项目扩散模型视频翻译

Live2Diff是一款基于视频扩散模型的实时流翻译工具。该项目采用单向时间注意力机制，结合多时间步KV缓存和深度先验技术，实现高效的视频处理。支持DreamBooth和LoRA风格迁移，并通过TensorRT优化性能。在512x512分辨率下，处理速度可达16.43 FPS，为实时视频翻译领域提供了新的技术方案。

dreamlike-diffusion-1.0 - 经过艺术优化的Stable Diffusion图像生成模型

GithubHuggingfaceStable Diffusion人工智能绘画图像生成开源项目模型深度学习模型艺术创作

Dreamlike Diffusion 1.0通过对Stable Diffusion 1.5的艺术风格优化，提供了更强的艺术创作能力。模型支持512x768等多种分辨率配置，可生成肖像和风景作品。通过Python Diffusers、Gradio界面支持多平台使用，开放非商业用途部署，商业应用需获得授权。关键词dreamlikeart可增强作品的艺术效果。

cycle-diffusion - 零样本图像翻译与无配对图片转换的扩散模型方法

CycleDiffusionGithubHuggingFacePyTorch开源项目扩散模型零样本图像编辑

该项目展示了如何正规化扩散模型中的随机种子，并实现零样本图像到图像翻译和指导。CycleDiffusion方法无需配对图像，利用稳定扩散等模型实现图像翻译。项目还提供详细的安装和使用指南，包括依赖项、预训练模型和评估数据等内容，通过这些工具可提高生成图像的质量和一致性。

AsyncDiff - 通过异步去噪实现扩散模型并行加速

AsyncDiffGithub加速推理开源项目异步去噪扩散模型模型并行

AsyncDiff是一种创新的扩散模型加速方案，通过将模型分割并在多设备上异步并行处理来提高效率。这种方法巧妙利用了扩散步骤间的相似性，将顺序去噪转变为异步过程，有效打破了组件间的依赖关系。AsyncDiff不仅大幅降低了推理时间，还保持了生成质量。目前已支持Stable Diffusion、ControlNet和AnimateDiff等多种主流扩散模型。

diffusiondb - 大规模文本生成图像数据集，促进多领域研究

DiffusionDBGithubStable Diffusion开源项目数据集文本生成图像生成模型

DiffusionDB 是一个大规模文本生成图像数据集，包含1400万张由Stable Diffusion生成的图像，以真实用户的提示和超参数为基础。该数据集为研究生成模型与提示词的关系、检测深度伪造和设计人机交互工具提供了丰富资源，分为 DiffusionDB 2M 和 DiffusionDB Large 两个子集，满足不同需求。模块化的数据集结构使得用户可以高效加载所需部分。

InstanceDiffusion - 实现精确实例级图像生成控制的突破性方法

GithubInstanceDiffusion图像生成实例级控制开源项目文本到图像条件生成

InstanceDiffusion为文本到图像的扩散模型引入精确的实例级控制。该技术支持每个实例的自由语言条件，可灵活指定实例位置，包括单点、涂鸦、边界框和实例分割掩码。相比现有技术，InstanceDiffusion在框输入的AP50上提升2.0倍，掩码输入的IoU提高1.7倍，为图像生成和编辑领域带来新的可能性。

stable-diffusion-3.5-large - 多模态扩散变换器模型实现高质量图像生成

GithubHuggingfaceStable Diffusion 3.5人工智能模型多模态扩散变换器开源项目文本生成图像模型深度学习

Stable Diffusion 3.5 Large是Stability AI开发的新型文本到图像生成模型。采用多模态扩散变换器架构，改进了图像质量、排版和复杂提示理解能力。模型支持研究及部分商业用途，可通过ComfyUI、Hugging Face等多种方式使用。结合多个预训练文本编码器和QK归一化技术，在提示遵循度和图像美学质量方面表现优异。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com