Project Icon

encodec_24khz

Meta AI开发的神经网络音频编解码器

EnCodec是Meta AI开发的神经网络音频编解码器,采用流式编码器-解码器架构和量化潜在空间。它使用多尺度频谱图对抗性训练,有效减少伪影,产生高质量音频样本。EnCodec在不同带宽下性能优异,适用于实时音频压缩、解码和各种音频处理应用。

tts-hifigan-ljspeech - 单声道声码器工具用于将声谱图转换为波形
GithubHiFIGANHuggingfaceLJSpeech单说话人声码器开源项目模型语音合成
此项目提供基于LJSpeech数据集训练的HiFIGAN声码器,可将声谱图转换为波形,适用于语音合成过程中的应用。模型针对单一发声者设计,但在一定程度上支持多发声者。建议使用22050 Hz采样率的输入数据,并参考SpeechBrain教程快速上手。
VEnhancer - 提升文本到视频生成质量的时空增强框架
AI视频处理GithubVEnhancer开源项目扩散模型空间时间增强视频生成
VEnhancer是一个时空增强框架,旨在提高文本到视频(T2V)生成模型的输出质量。该框架基于ControlNet结构,整合了预训练视频扩散模型的多帧编码器和中间块,构建可训练的条件网络。VEnhancer接收低分辨率关键帧和完整噪声潜在帧作为输入,通过噪声增强和下采样因子进行网络调节,从而生成更高质量、更连贯的视频内容。
hallo - 分层音频驱动人像动画合成框架
AI动画GithubHallo人像动画开源项目视频合成语音驱动
Hallo是一个分层音频驱动的视觉合成框架,用于生成人像图像动画。该框架可根据输入音频创建高质量的说话头像视频,支持重现多种经典电影场景。Hallo采用分层设计,整合多个先进模型,实现精细的面部表情和唇形同步。项目提供完整的训练和推理代码,适用于多种应用场景。
soundstorm-pytorch - 基于PyTorch的高效并行音频生成模型
GithubPytorchSoundStorm人工智能开源项目深度学习音频生成
SoundStorm是Google DeepMind开发的高效并行音频生成模型,本项目提供其PyTorch实现。该模型将MaskGiT技术应用于Soundstream的残差向量量化编码,采用Conformer架构。项目包含完整的训练和生成代码,支持原始音频处理和文本到语音转换。此实现整合了多个相关模型,旨在促进前沿语音合成技术的应用与研究。
melgan - PyTorch实现的语音合成技术
GithubMelGANPyTorch人工智能语音合成开源项目音频处理预训练模型
MelGAN是一个在PyTorch上实现的声码器,用于转换NVIDIA tacotron2的输出成原始音频。项目提供了基于LJSpeech-1.1数据集的预训练模型,用户可通过PyTorch Hub访问和试听。适合音频合成领域的研究与开发。
Qwen2-Audio - 大规模音频语言模型 支持语音交互和音频理解
GithubQwen2-Audio多语言支持开源项目语音翻译语音识别音频分析
Qwen2-Audio是一款先进的音频语言模型,可处理多种音频输入并执行分析或生成文本响应。该模型提供语音交互和音频分析两种功能,在13项基准测试中展现出色性能,包括语音识别、翻译和情感分析等任务。目前已发布Qwen2-Audio-7B和Qwen2-Audio-7B-Instruct两个版本。
EchoMimic - 音频驱动的逼真人像动画系统 支持关键点编辑
AI模型EchoMimicGithub关键点条件开源项目肖像动画音频驱动
EchoMimic是一个音频驱动的人像动画系统,通过编辑关键点来控制动画效果。系统支持英语和中文音频输入,可生成自然的口型、表情和头部动作。项目开源了推理代码和预训练模型,可用于生成高质量的说话头视频,适用于虚拟主播等应用场景。
RealtimeSTT_LLM_TTS - 整合语音识别与AI对话的开源项目
GPU支持GithubRealtimeSTT唤醒词实时转录开源项目语音转文字
该项目集成语音识别、AI对话和语音合成,支持GPU加速以实现低延迟交互。具备语音检测、实时转录和唤醒词等功能,可用于开发语音助手和AI对话应用。Web界面支持个性化配置,适合快速构建语音交互系统。
TensorflowASR - Tensorflow 2和Conformer结合的端到端语音识别解决方案
CTCConformerGithubONNXTensorflowASR开源项目语音识别
Tensorflow 2和Conformer结构打造的端到端语音识别模型,支持在线流式和离线识别,实时率约为0.1。该项目提供VAD、降噪、TTS数据增强等功能,并支持ONNX推理优化。训练结果在Aishell-1测试集上表现优异,适用于语音识别。最新更新的Chunk Conformer结构进一步提升了长时间语音识别的准确性和效率。
CompressAI - 基于PyTorch的端到端压缩研究开源库
CompressAIGithubPyTorch图像压缩开源项目深度学习评估平台
CompressAI是基于PyTorch的开源库,致力于端到端压缩研究。该库提供深度学习数据压缩的自定义组件、预训练图像压缩模型,以及评估工具用于比较学习型模型与传统编解码器。支持Python 3.8+和PyTorch 1.7+,为压缩技术研究提供了实用平台。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号