#扩散模型
Diffusion-SVC: 基于扩散概率模型的高质量语音转换系统
Imagen
Imagen,一种先进的AI图片生成工具,利用深度语言理解和极致的图像真实性,实现从文字到图像的转换。此模型不仅在COCO数据集上刷新了技术记录,还通过高效的U-Net架构和强大的文本编码系统,优化了图文一致性和图像质量。鉴于潜在的社会影响和数据集偏差问题,当前未开放源代码或公共演示版本。
VAR
VAR模型利用创新的'下一尺度预测'策略,重塑自回归图像学习方式,优于传统扩散模型。它适用于多种图像生成任务,展现出优秀的尺度预测与型态泛化能力。现可通过FoundationVision/var进行交互体验。
SkyPaint-AI-Diffusion
SkyPaint由奇点智源开发,支持中文和英文文本输入,生成现代艺术风格的高质量图像。基于OpenAI-CLIP优化,支持多种提示词输入。用户可以在线体验SkyPaint,模型兼容stable_diffusion_1.x及相关微调版本。SkyCLIP通过多语种BERT进行训练,显著降低算力需求,提升模型性能。项目持续优化,旨在为开源社区提供便捷的复现和微调解决方案,适用于多语言图文检索和生成任务。
foldingdiff
使用扩散模型生成新的蛋白骨架结构。提供详细的安装、数据下载和模型训练指南,支持预训练模型的加载和采样。评估生成骨架的设计性能和结构一致性,适合具备Python和PyTorch基础的研发人员使用,通过浏览器便捷地生成蛋白质结构。
T-GATE
TGATE项目研究了在文本到图像扩散模型中的时序注意机制。研究发现,交叉注意输出在几步推理后可以收敛到固定点,通过采用缓存和重用这些输出的方式,无需额外训练,即可提升现有模型的运行速度10%–50%。TGATE易于集成,提供快速图像生成,适用于CNN U-Net、Transformer和Consistency Model。
cycle-diffusion
该项目展示了如何正规化扩散模型中的随机种子,并实现零样本图像到图像翻译和指导。CycleDiffusion方法无需配对图像,利用稳定扩散等模型实现图像翻译。项目还提供详细的安装和使用指南,包括依赖项、预训练模型和评估数据等内容,通过这些工具可提高生成图像的质量和一致性。
Paint-by-Example
该项目通过自监督训练,重新组合源图像及示范图像,避免了直接复制粘贴带来的伪影。采用任意形状掩码和无分类器指导,提升编辑过程的可控性,并通过一次性前向扩散模型实现高保真图像编辑。项目展示了对自然图像的高效可控编辑效果,提供了预训练模型、测试基准和量化结果,适用于图像编辑和生成的研究与应用。
MultiDiffusion
MultiDiffusion 是一个统一框架,通过预训练的文字转图像扩散模型,实现多功能且可控的图像生成,无需进一步训练或微调。该框架支持用户使用各种控制信号,如纵横比和空间引导信号,生成高质量、多样化的图像。MultiDiffusion 优化了多重扩散生成过程,使用一组共享参数或约束,支持局部和全局编辑,适用于如烟雾、火焰和雪等半透明效果。
denoising-diffusion-pytorch
Denoising Diffusion Probabilistic Model在Pytorch中的实现,通过去噪得分匹配估计数据分布梯度,并使用Langevin采样生成样本。这种方法可能成为GANs的有力竞争者。项目支持多GPU训练,提供详细的安装和使用指南,是研究人员和开发者的高效工具,支持1D序列数据和图像数据的生成和训练。