Logo
Project Icon

T-GATE

研究了在文本到图像扩散模型中的时序注意机制

TGATE跨注意力自注意力扩散模型图像生成Github开源项目

TGATE项目研究了在文本到图像扩散模型中的时序注意机制。研究发现，交叉注意输出在几步推理后可以收敛到固定点，通过采用缓存和重用这些输出的方式，无需额外训练，即可提升现有模型的运行速度10%–50%。TGATE易于集成，提供快速图像生成，适用于CNN U-Net、Transformer和Consistency Model。

访问官网访问官网GithubGithubHuggingfaceHuggingface论文论文
介绍相关项目
Generative-AI - 多模态图像合成与编辑技术及其分类
Data ModalityGenerative AIGithubMultimodal Image Synthesis and EditingTaxonomyVisual AIGC开源项目
该项目附有一篇综述论文，全面分析了多模态图像合成与编辑（MISE）和视觉AIGC的发展情况，并根据数据模态和模型架构进行了分类研究。通过此项研究，科研人员和技术开发者可以深入了解神经渲染、扩散方法、自回归方法及对抗生成网络（GAN）等不同技术及其应用，帮助更好地掌握多模态图像合成技术的前沿进展与实际应用。
MDT - MDTv2图像合成模型：更快收敛和卓越性能
GithubMasked Diffusion Transformer人工智能图像合成开源项目深度学习计算机视觉
MDTv2是一种先进的深度学习图像合成模型，在ImageNet数据集上实现了1.58的FID分数，创造新的业界标准。该模型采用掩码潜在建模技术，提高了图像语义理解能力，学习速度比先前模型快10倍以上。MDTv2在图像生成质量和训练效率方面都有显著提升，为计算机视觉和人工智能领域带来了新的可能性。
git-base-coco - 应用于多任务的图像文本生成模型
COCOGITGithubHuggingface图像识别开源项目模型模型训练视觉问答
GIT是一种基于Transformer的图像文本生成模型，进行了COCO数据集的微调。其设计提升了在图像和视频描述以及问答上的能力。模型结合了CLIP图像令牌与文本令牌进行训练，能够有效预测下一个文本令牌。GIT被应用于图像和视频的标题生成、视觉问答和图像分类等视觉任务，利用大量图像文本对进行训练，实现了多样化的视觉语言任务，提升了视觉理解和交互的效果。
PixArt-XL-2-512x512 - 快速生成高分辨率图像的高效能模型
GithubHuggingfacePixart-α开源项目扩散模型文本到图像模型深度学习生成模型
PixArt-α是一个基于Transformer架构的文本到图像生成框架，能够从文本提示生成高分辨率图像，最高可达1024像素。相比于Stable Diffusion v1.5，其训练时间仅为10.8%，大幅降低成本与碳排放。用户偏好评估显示，PixArt-α在实现效率与图像质量方面表现卓越，适用于艺术创作、教育用途及生成模型研究。但需要注意的是，其在图像还原现实性和复杂任务的执行上尚有局限。查看其GitHub或arXiv以了解更多细节。
video-diffusion-pytorch - 开源项目实现文本到视频生成新突破
GithubPytorchU-net开源项目文本到视频深度学习视频生成
video-diffusion-pytorch项目实现了基于扩散模型的文本到视频生成技术。该开源项目采用时空分解U-net结构，将2D图像生成扩展至3D视频领域。支持文本条件生成、BERT编码和批量训练等功能。目前在移动MNIST数据集上表现良好，为研究人员和开发者提供了探索视频生成新前沿的工具。该技术有望在复杂视频生成任务中取得进展。
TF-ICON - 利用Text-driven Diffusion模型实现跨域图像无训练组合的框架
GithubICCV 2023TF-ICON开源项目扩散模型无训练跨域图像合成
TF-ICON是一个利用Text-driven Diffusion模型实现跨域图像无训练组合的框架。相比需要实例化优化或微调预训练模型的方法，TF-ICON无需额外训练或优化，就可无缝集成用户提供的对象，还使用了特别提示来帮助模型准确还原真实图像。实验表明，该方法在多个数据集（如CelebA-HQ、COCO和ImageNet）上的表现优于现有技术。
AbSViT - 创新视觉注意力模型实现自适应分析合成
AbSViTGithub图像分类开源项目视觉注意力计算机视觉语义分割
AbSViT是一个创新视觉注意力模型，采用分析合成方法实现自适应的自上而下注意力机制。该模型在ImageNet分类和语义分割任务中表现优异，尤其在鲁棒性测试中展现出色性能。AbSViT能够适应单目标和多目标场景，并根据不同问题动态调整注意力。这一模型为计算机视觉领域开辟了新的研究方向，有望在多种视觉任务中发挥重要作用。
GraphGPT - 基于图指令微调的大语言模型知识对齐框架
GithubGraphGPT图学习图结构知识大语言模型开源项目指令微调
GraphGPT是一个将大语言模型与图结构知识对齐的创新框架。该框架通过文本-图谱接地编码结构信息,采用双阶段图指令微调适应图学习任务,并运用思维链蒸馏提升推理能力。GraphGPT有效增强了语言模型对图数据的理解和处理能力,为图结构数据分析提供了新的研究方向。
muse-maskgit-pytorch - 基于掩码生成变压器的PyTorch文本到图像生成框架
AI绘图GithubMaskGitMusePyTorch图像生成开源项目
muse-maskgit-pytorch是一个实现Muse: Text-to-Image Generation via Masked Generative Transformers的开源项目。该框架集成了VQGanVAE和MaskGit模型，支持基础图像生成和超分辨率处理。项目提供了完整的训练和生成流程，包括VAE训练、基础MaskGit和超分辨率MaskGit的使用方法，为研究人员提供了探索文本到图像生成技术的工具。
stable-diffusion-v1-5 - 先进的文本到图像AI生成模型
GithubHuggingfaceStable Diffusion人工智能开源项目文本生成图像机器学习模型深度学习
Stable Diffusion v1-5是一种基于潜在扩散的文本到图像生成模型。它在LAION-5B数据集上经过595k步训练，可生成512x512分辨率的高质量图像。该模型适用于艺术创作、设计和研究，但存在人脸和文字渲染的局限性。模型通过Diffusers库提供，但不应用于生成有害内容。Stable Diffusion v1-5代表了AI图像生成技术的重要进展。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号