#扩散模型
denoising-diffusion-pytorch学习资料汇总 - PyTorch实现的去噪扩散概率模型
Imagen
Imagen，一种先进的AI图片生成工具，利用深度语言理解和极致的图像真实性，实现从文字到图像的转换。此模型不仅在COCO数据集上刷新了技术记录，还通过高效的U-Net架构和强大的文本编码系统，优化了图文一致性和图像质量。鉴于潜在的社会影响和数据集偏差问题，当前未开放源代码或公共演示版本。
VAR
VAR模型利用创新的'下一尺度预测'策略，重塑自回归图像学习方式，优于传统扩散模型。它适用于多种图像生成任务，展现出优秀的尺度预测与型态泛化能力。现可通过FoundationVision/var进行交互体验。
SkyPaint-AI-Diffusion
SkyPaint由奇点智源开发，支持中文和英文文本输入，生成现代艺术风格的高质量图像。基于OpenAI-CLIP优化，支持多种提示词输入。用户可以在线体验SkyPaint，模型兼容stable_diffusion_1.x及相关微调版本。SkyCLIP通过多语种BERT进行训练，显著降低算力需求，提升模型性能。项目持续优化，旨在为开源社区提供便捷的复现和微调解决方案，适用于多语言图文检索和生成任务。
foldingdiff
使用扩散模型生成新的蛋白骨架结构。提供详细的安装、数据下载和模型训练指南，支持预训练模型的加载和采样。评估生成骨架的设计性能和结构一致性，适合具备Python和PyTorch基础的研发人员使用，通过浏览器便捷地生成蛋白质结构。
T-GATE
TGATE项目研究了在文本到图像扩散模型中的时序注意机制。研究发现，交叉注意输出在几步推理后可以收敛到固定点，通过采用缓存和重用这些输出的方式，无需额外训练，即可提升现有模型的运行速度10%–50%。TGATE易于集成，提供快速图像生成，适用于CNN U-Net、Transformer和Consistency Model。
cycle-diffusion
该项目展示了如何正规化扩散模型中的随机种子，并实现零样本图像到图像翻译和指导。CycleDiffusion方法无需配对图像，利用稳定扩散等模型实现图像翻译。项目还提供详细的安装和使用指南，包括依赖项、预训练模型和评估数据等内容，通过这些工具可提高生成图像的质量和一致性。
Paint-by-Example
该项目通过自监督训练，重新组合源图像及示范图像，避免了直接复制粘贴带来的伪影。采用任意形状掩码和无分类器指导，提升编辑过程的可控性，并通过一次性前向扩散模型实现高保真图像编辑。项目展示了对自然图像的高效可控编辑效果，提供了预训练模型、测试基准和量化结果，适用于图像编辑和生成的研究与应用。
MultiDiffusion
MultiDiffusion 是一个统一框架，通过预训练的文字转图像扩散模型，实现多功能且可控的图像生成，无需进一步训练或微调。该框架支持用户使用各种控制信号，如纵横比和空间引导信号，生成高质量、多样化的图像。MultiDiffusion 优化了多重扩散生成过程，使用一组共享参数或约束，支持局部和全局编辑，适用于如烟雾、火焰和雪等半透明效果。
denoising-diffusion-pytorch
Denoising Diffusion Probabilistic Model在Pytorch中的实现，通过去噪得分匹配估计数据分布梯度，并使用Langevin采样生成样本。这种方法可能成为GANs的有力竞争者。项目支持多GPU训练，提供详细的安装和使用指南，是研究人员和开发者的高效工具，支持1D序列数据和图像数据的生成和训练。