Logo
Project Icon

HumanTOMATO

文本驱动的全身动作生成系统

HumanTOMATO全身动作生成文本驱动H²VQ层次化GPTGithub开源项目

研究提出了一种新的文本驱动全身动作生成任务，通过给定的文本描述生成高质量、多样且连贯的面部表情、手势和身体动作。HumanTOMATO 通过使用 Holistic Hierarchical VQ-VAE 和 Hierarchical-GPT 确保动作生成与文本的精确对齐。实验显示，该模型在动作生成质量和文本匹配度上有显著优势。

访问官网访问官网GithubGithub论文论文
介绍相关项目
audio2photoreal - AI驱动的音频转人物对话视频技术
AI合成Github对话场景开源项目深度学习计算机视觉音频到真人化身
audio2photoreal项目实现了音频到逼真人物对话视频的自动转换。该开源项目集成了面部表情和全身动作生成模型,能根据音频输入合成自然的人物表情和动作。项目提供预训练模型、训练代码和数据集,便于研究者复现和改进。这一技术为虚拟人物制作和视频合成领域开辟了新的可能性。
Holodeck - 语言驱动的3D AI环境生成系统
3D环境生成AI2-THORGithubHolodeck实体AI开源项目自然语言指导
Holodeck是一个基于AI2-THOR平台的开源项目，旨在通过自然语言指令生成逼真的3D AI环境。该系统结合GPT-4语言模型和高效布局算法，能将文字描述转化为详细的3D场景。Holodeck为embodied AI研究提供了便捷工具，支持快速创建多样化的复杂环境用于测试和训练。项目提供完整代码和文档，为AI研究社区贡献了有价值的资源。
MSMC-TTS - 多阶段多码本神经网络文本转语音系统
GithubMSMC-TTSVQ-VAE多阶段多码本开源项目神经网络TTS语音合成
MSMC-TTS是一个高性能神经网络文本转语音系统，基于多阶段多码本VQ-VAE技术。该系统集成了MSMC-VQ-VAE和HifiGAN，通过MSMC-VQ-GAN自编码器优化，并采用多阶段预测器作为声学模型。MSMC-TTS在标准和低资源语言的语音合成中表现优异，能够生成紧凑的语音表示和高质量的语音输出。项目提供了详细的训练、测试和推理指南，并包含针对MSMC-VQ-GAN和多阶段预测器的优化建议。
Gaussian-Head-Avatar - 动态高斯技术实现超高保真虚拟头像生成
3D建模Gaussian Head AvatarGithub动态高斯开源项目计算机视觉高保真头像
Gaussian-Head-Avatar项目采用动态高斯模型，生成超高保真虚拟头像。该技术通过两阶段训练，包括几何引导模型和高斯头像模型，能够基于表情系数实现逼真的头像重演。这一创新为计算机视觉和图形学领域带来新的解决方案，可应用于虚拟现实和数字人等多个领域。
openvla-7b - 基于视觉和语言的开源机器人动作生成模型
GithubHuggingfaceOpenVLA图像文本处理开源项目机器人控制机器学习模型视觉语言行为模型
OpenVLA-7B是一个开源的视觉-语言-动作模型，基于97万个机器人操作数据训练。该模型将语言指令和摄像机图像转化为机器人动作，支持多种机器人控制，并可通过微调适应新任务。OpenVLA-7B采用MIT许可证，适用于零样本指令执行和新领域迁移。
openheygen - 开源AI视频生成工具 支持多语言语音合成和唇形同步
GithubHeyGen开源方案开源项目环境配置视频生成音频克隆
OpenHeyGen是一个基于coqui和video-retalking的开源AI视频生成工具。它能将文本转换为多语言语音，并与原始视频人物唇形精准同步。用户提供原始视频和音频后，即可生成高质量AI视频。该工具支持中文、英语、日语等多种语言，操作简便，为视频内容创作者和开发者提供了创新的技术解决方案。其核心功能包括多语言文本到语音转换、唇形同步技术和视频合成，满足各种AI视频制作需求。
Talking_Face_Avatar - 将单张肖像图片转换为说话视频的开源AI项目
AI绘图GithubSadTalker人脸动画开源项目深度学习语音合成
Talking_Face_Avatar是一个开源AI项目，能将单张肖像图片和音频转换为逼真的说话视频。项目整合了Leonardo.ai的图像生成和ElevenLabs的语音合成技术，支持静态、参考和调整大小等多种模式。除了生成说话头视频外，还可制作全身视频，并通过GFPGAN等工具提升视频质量。项目适用于Linux系统，提供WebUI和API接口，方便开发者和创作者使用。
EMO - 音频驱动的富表情肖像视频生成模型
EMOGithub人像视频生成开源项目扩散模型表情合成音频到视频转换
EMO是一种音频到视频的扩散模型，可在弱条件下生成表现力丰富的肖像视频。该项目由阿里巴巴智能计算研究院开发，将音频输入转化为面部表情和头部动作，增强数字人物的自然度和情感表达。EMO技术在虚拟主播和数字人互动等领域具有应用潜力，可提供更真实的视觉体验。
Bert-VITS2-ext - 实现声音到脸部表情的同步生成的TTS及声音识别的应用
Bert-VITS2GithubTTS开源项目数据预处理表情生成音频质量
Bert-VITS2-ext 专注于TTS及声音识别的创新应用，实现声音到脸部表情的同步生成。该技术结合VITS，支持多语言，适用于复杂交互场景，为动画与虚拟互动领域开辟新可能。
GSM - 创新框架实现高效3D人体生成
3D人体生成3D渲染Github开源项目深度学习生成对抗网络高斯贝壳图
Gaussian Shell Maps (GSM)框架结合了先进的生成器网络和3D高斯渲染技术，用于高效生成3D数字人物。GSM采用多层壳结构，通过卷积神经网络生成3D纹理并映射到壳上。该方法可在单视图数据集上训练，生成多视图一致的高质量3D人体模型，并支持任意姿势变形。GSM为虚拟现实、社交媒体和电影制作等领域提供了创新的3D人体生成技术。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号