Logo
Project Icon

open-muse

开源项目MUSE模型重现，用于高效文本到图像生成

VQGANHuggingfaceGithub开源项目MUSEtransformeropen-muse

open-muse项目致力于重现Transformer MUSE模型，通过LAION-2B和COYO-700M数据集的训练，提供简单且可扩展的代码库。项目包括在Imagenet上训练类别条件模型、在CC12M上进行文本到图像实验，以及训练改进的VQGAN模型，所有结果将上传至Huggingface的openMUSE组织。支持的模型包括MaskGitTransformer和VQGAN，方便使用并可在Huggingface hub上加载和保存。

访问官网访问官网GithubGithubHuggingfaceHuggingface文档文档
介绍相关项目
vision_transformer - 视觉Transformer和MLP-Mixer模型库 高性能图像识别
FlaxGithubJAXMLP-MixerVision Transformer图像识别开源项目
项目包含多种视觉Transformer(ViT)和MLP-Mixer模型实现,提供ImageNet和ImageNet-21k预训练模型及JAX/Flax微调代码。通过交互式Colab笔记本可探索5万多个模型检查点。这些高性能图像分类模型代表了计算机视觉的前沿进展。
OpenLRM - 开源3D重建模型
GithubHugging FaceOpenLRM开源开源项目模型训练视觉重建
OpenLRM是一个开源项目，专注于将单张图像转换为三维模型，提供预训练模型、训练代码和工具。用户可访问Hugging Face平台上的模型和演示。最新版本v1.1.1支持Objaverse和MVImgNet数据集，并进行了代码重构以提升可用性和扩展性。项目还包含安装指南、推理脚本和训练配置文件，便于用户快速上手。
MGM-7B - 基于LLaMA的开源多模态图文理解生成模型
GithubHuggingfaceMGM-7B人工智能图像理解多模态模型大语言模型开源项目模型
MGM-7B是基于LLaMA架构开发的多模态语言模型，通过Vicuna模型微调实现高清图像理解和生成能力。作为MGM系列的组成部分，该开源项目提供了从2B到34B多个参数规模版本，支持密集模型和MoE模型架构。模型使用多模态指令数据集训练，适用于计算机视觉和自然语言处理研究。
musegan - 多轨乐器生成与伴奏的AI工具
GANGithubMuseGAN多轨道音乐开源项目深度学习音乐生成
MuseGAN项目致力于生成多轨乐器的复音音乐。通过使用Lakh Pianoroll Dataset进行训练，该模型可以从零开始生成音乐或为用户提供的轨道进行伴奏。最新版本使用3D卷积层处理时间结构，尽管网络规模较小，但可控性有所下降。项目支持PyTorch版本，并提供多个shell脚本用于实验管理和数据收集。生成样本存储为.npy、.png和.npz格式，可转换为MIDI文件进一步使用。
Open-MAGVIT2 - 自回归视觉生成新突破 大幅提升图像分词性能
GithubOpen-MAGVIT2图像分词器大规模词表开源项目自回归模型视觉生成
Open-MAGVIT2是一个创新的自回归视觉生成项目，采用无查找技术和262144大小的码本，克服了VQGAN的局限性。该项目用PyTorch重新实现MAGVIT2分词器，在图像分词方面取得显著进展，8倍下采样时rFID达到0.39。项目致力于推动自回归视觉生成领域发展，目前处于积极开发阶段，未来计划拓展至视频生成领域。
ProteusV0.2 - 基于OpenDalleV1.1的高级AI图像生成模型
AI绘图GithubHuggingfaceProteusV0.2图像生成开源项目模型深度学习计算机视觉
ProteusV0.2是基于OpenDalleV1.1的进阶AI图像生成模型。通过22万张GPTV标注图像微调和1万对高质量AI图像DPO优化，该模型大幅提升了提示词理解和创作能力。ProteusV0.2在复杂面部特征、皮肤纹理以及超现实、动漫、卡通等风格领域均表现卓越，为AI图像生成技术带来新的突破。
Awesome-MIM - 掩码图像建模在自监督表示学习中的应用与发展
GithubMasked Image ModelingTransformer开源项目深度学习自监督学习计算机视觉
该项目汇总了掩码图像建模（MIM）及相关的自监督学习方法。涵盖了从2008年以来的主要自监督学习研究，并展示了其在自然语言处理和计算机视觉领域的发展历程和关键节点。所有内容按时间顺序排列并定期更新，包括相关论文、代码和框架的详细信息，旨在帮助研究者深入理解和应用MIM方法。欢迎贡献相关文献或修正建议。
FLUX.1-dev - 高质量文本生成图像的开源AI模型
FLUX.1GithubHuggingface人工智能图像生成开源模型开源项目模型深度学习
FLUX.1-dev是一个开源的AI图像生成模型，拥有120亿参数。该模型采用整流流变换器技术，可根据文本描述生成高质量图像，在输出质量和提示跟随方面表现优异。FLUX.1-dev开放模型权重，旨在推动科研发展和艺术创新。它支持个人、科研和商业用途，可通过多种API和工具使用，为AI图像生成领域提供了新的可能性。
Omost - 将大型语言模型转化为图像生成工具
AI绘画CanvasGithubLLMOmost图像生成开源项目
Omost是一个将大型语言模型的编码能力转化为图像合成能力的开源项目。它提供基于Llama3和Phi3的预训练模型，通过虚拟Canvas代理生成图像。项目使用多样化的训练数据，包括真实标注、自动提取数据、强化学习和GPT4多模态能力调优，以提升图像生成质量。
transformers - 机器学习库，覆盖文本、视觉与音频处理
GithubHugging Face人工智能多模态开源项目机器学习自然语言处理
探索🤗 Transformers——一个功能全面的机器学习库，覆盖文本、视觉与音频处理。该库提供数千种可对接JAX、PyTorch或TensorFlow的预训练模型，适用于多种语言处理与多模态任务。主要功能包括： - 文本分类 - 信息提取 - 问答系统 - 摘要生成 - 翻译 - 文本生成 此外，还能处理表格问答、OCR及视觉问答等多模态任务。Transformers库易于使用，支持模型间的快速切换与无缝整合。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号