Project Icon

snac_44khz

多尺度神经音频编解码器实现低比特率音频压缩

SNAC(Multi-Scale Neural Audio Codec)是一种创新的音频压缩模型,采用分层令牌方法将44kHz音频压缩至2.6kbps的低比特率。该模型引入粗糙令牌的低频采样机制,优化了音频编码效果。SNAC主要针对音乐数据训练,适用于音乐和音效处理。它提供多个预训练模型,支持不同采样率和比特率,便于在Python项目中进行音频编码和解码。SNAC在保持音质的同时,实现了高效的音频压缩,为音频处理领域提供了新的解决方案。

encodec.cpp - Meta's Encodec音频编解码器的C/C++高性能实现
EncodecGGMLGPU加速Github开源项目深度学习音频编解码
encodec.cpp是Meta's Encodec深度学习音频编解码器模型的C/C++实现。该项目基于ggml库开发,无需其他依赖。支持24KHz模型、混合F16/F32精度,并可通过Metal和cuBLAS进行加速。项目提供C风格API和使用示例,正在开发4位和8位量化功能。encodec.cpp为音频编解码任务提供了高性能、易用的开源解决方案。
iSTFTNet-pytorch - 轻量级Mel频谱声码器
GithubMel-spectrogramVocoderiSTFTNet声音合成开源项目轻量级
iSTFTNet,一款结合逆短时傅里叶变换的Mel频谱声码器,训练速度较传统hifigan快30%,性能超前60%。以C8C8I模型为核心,优化声音质量和处理速度,适配快速高效的语音处理需求。虽主要为技术测试和验证,其音质和处理速度的优势已得到实证。
Stable Audio Open - 开源文本转音频模型 生成高质量短音频样本和音效
AI工具Stable Audio Open开源模型文本到音频音效制作音频生成
Stable Audio Open是一个开源的文本转音频生成模型,专注于创建短音频样本、音效和音乐制作元素。用户可通过文本提示生成最长47秒的高质量音频。该模型适用于创建鼓点、乐器片段、环境音效和拟音效果等。作为免费开源工具,它为音乐制作和声音设计提供了实用的解决方案。用户可以使用自己的数据微调模型,生成个性化音效。此外,模型支持部署到个人设备,便于自定义使用。
HomerSimpson2333333 - 通过RVC模型实现音频格式转换和加载
GithubHomerSimpson2333333HuggingfaceJuuxnscrapRVCaudio-to-audio开源项目模型模型转换
HomerSimpson2333333项目使用RVC模型提供音频转换和加载功能。该模型于2023年7月发布,能够将音频文件转换为指定格式,适合多种音频处理场景,并与GitHub上的rvc-runpod项目兼容,具备高效和稳定性。
stable-audio-metrics - 音频生成模型评估指标集合
GPU支持Githubstable-audio-metrics开源项目数据结构音频指标音频生成模型评估
stable-audio-metrics是一个评估音乐和音频生成模型的开源指标集合。它包含基于Openl3的Fréchet距离、基于PaSST的Kullback-Leibler散度和基于CLAP-LAION的CLAP分数。该项目针对长形式全频带立体声生成进行了优化,支持可变长度输入,并提供了详细文档和示例。适用于评估MusicCaps、AudioCaps和Song Describer等数据集的音频生成质量。
Codec-SUPERB - 音频编解码模型性能评估基准平台
Codec-SUPERBGithub开源项目性能基准评估框架语音处理音频编解码
Codec-SUPERB是一个综合性音频编解码模型评估平台,提供标准化测试环境和统一数据集。平台特色包括直观的编解码接口、多角度评估和在线排行榜。它旨在促进语音处理领域的发展,为研究人员提供便捷的模型集成和测试环境,支持快速迭代和实验。
NISQA - 多维度语音质量评估和自然度预测深度学习工具
GithubNISQA开源项目自然语言合成训练语音样本语音质量预测
NISQA是一个先进的深度学习工具,专注于多维度语音质量评估,包括噪声、色彩度、断续和响度等特质。最新版本NISQA v2.0增强了预测精度,并支持模型训练与微调。NISQA-TTS专为评估文本到语音系统生成语音的自然度而设计。项目库含14,000多个语音样本,适用于广泛的训练和评估任务。
whisper-large-v3-turbo - 精简版Whisper语音识别系统的突破性进展
GithubHuggingfaceWhisper多语言开源项目模型模型蒸馏自动语音识别语音识别
Whisper large-v3-turbo通过模型蒸馏技术对原版Whisper进行优化,将解码层从32减少到4层,在仅造成轻微性能损失的情况下显著提升了处理速度。该模型继承了Whisper优秀的多语言处理能力,支持超过100种语言的语音识别和翻译任务,能够适应不同场景的音频输入。基于高效的架构设计,此模型在降低计算资源需求的同时保持了稳定的识别准确率。
ParallelWaveGAN - 通过Pytorch实现多种高效声码器模型
GithubHiFi-GANMelGANParallelWaveGAN多扬声器模型实时语音合成开源项目
ParallelWaveGAN项目以非官方形式用Pytorch实现了多种声码器模型,如Parallel WaveGAN、MelGAN等,支持实时语音合成并兼容ESPnet-TTS、NVIDIA's Tacotron2等系统。可帮助用户搭建适应多种语言的声音合成器。
speech-resynthesis - 基于离散解耦自监督表示的语音重合成技术
Github开源项目自监督学习表示学习语音合成语音编码语音重合成
该项目开发了一种新型语音重合成方法,采用自监督学习的离散表示技术,分别提取语音内容、韵律信息和说话人特征。这种方法实现了可控的语音合成,在重建质量和特征解耦方面表现优异。此外,该技术还可应用于超轻量级语音编解码,以365比特/秒的低比特率提供高质量语音输出。项目提供完整的训练和推理流程,兼容多种数据集和自监督学习方法。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号