Project Icon

speech-resynthesis

基于离散解耦自监督表示的语音重合成技术

该项目开发了一种新型语音重合成方法,采用自监督学习的离散表示技术,分别提取语音内容、韵律信息和说话人特征。这种方法实现了可控的语音合成,在重建质量和特征解耦方面表现优异。此外,该技术还可应用于超轻量级语音编解码,以365比特/秒的低比特率提供高质量语音输出。项目提供完整的训练和推理流程,兼容多种数据集和自监督学习方法。

vocos-mel-24khz - 基于GAN的高效神经声码器Vocos
GANGithubHuggingfaceVocos开源项目梅尔频谱图模型神经声码器音频合成
Vocos是一个开源的神经声码器项目,采用GAN训练方法,能够从声学特征快速合成高质量音频。它通过生成频谱系数并进行傅里叶逆变换重建音频,实现单次前向传播的高效生成。项目提供预训练模型和Python接口,支持梅尔频谱图重建和文件复合合成。Vocos结合了时域和傅里叶域声码器的优点,为音频合成领域提供了新的技术方案。
TTS - 高性能文本到语音生成库,支持多语言
GithubMozillaTTSText-to-Speech多语言支持开源项目预训练模型
TTS库基于最新研究成果,提供高效的文本到语音生成技术,实现了训练便捷、速度快、质量高的最佳平衡。该库包括预训练模型和数据集质量评估工具,已被广泛应用于20多种语言的产品和研究项目。支持多说话人TTS、快速模型训练、多GPU训练,并兼容PyTorch、TensorFlow和TFLite等多种平台。
voicesmith - 实现个性化语音合成的强大工具
DelightfulTTSGithubUnivNetVoiceSmith多说话者模型开源项目文本转语音
VoiceSmith是一个允许用户训练和应用单语者及多语者模型的平台。该项目基于改良的DelightfulTTS和UnivNet模型,能在个人数据集上进行微调,带来高度自然的语音输出。VoiceSmith还包括数据预处理工具,如自动文本规范化功能,适合在Windows或Linux系统上使用,推荐配置NVIDIA GPU以优化训练效率。
data2vec-audio-base-960h - 利用自监督学习提升语音识别效率的开源框架
Data2VecGithubHuggingfaceTransformer开源项目模型自动语音识别自监督学习语言模型
Data2Vec是一种开源模型,基于Librispeech数据集进行960小时的16kHz语音音频的预训练和微调,在语音识别领域表现优异。利用自监督学习与自蒸馏手段,Data2Vec准确提取上下文信息,优化了自动语音识别的表现。在LibriSpeech的测试中,取得了“clean”任务2.77和“other”任务7.08的词错误率(WER),体现了其在业内的竞争力。
Diff-HierVC - 分层扩散模型实现高质量零样本语音转换
Diff-HierVCGithub开源项目扩散模型语音转换零样本说话人适应音高生成
Diff-HierVC是一种分层语音转换系统,采用DiffPitch和DiffVoice两个扩散模型。DiffPitch生成目标音高,DiffVoice转换语音风格。系统还使用源滤波器编码器和掩蔽先验技术,提高语音风格迁移和说话人适应能力。在零样本语音转换中,Diff-HierVC实现0.83%字错率和3.29%等错率,展现出色的音高生成和语音风格迁移性能。
dc_tts - 基于深度卷积网络的高效文本到语音转换模型
DC-TTSGithubTensorFlow开源项目文本转语音训练模型语音样本
dc_tts,一个基于TensorFlow的文本到语音转换模型,使用深度卷积网络和引导注意力机制进行设计。项目不仅还原了相关学术论文,还对不同声音数据进行了深入研究,支持多种语言和数据集,提供完善的训练及预处理教程以及预训练模型,适用于学术研究和实际应用场景。
ttts - 创新多语言语音合成技术的突破性进展
AI模型GithubTTSVQVAE声音合成多语言支持开源项目
TTTS_v4是一个开源的多语言语音合成项目,通过创新的'细节'建模方法改进了传统VQ技术。该项目现已支持中文、英文、日语和韩语,并具有扩展性。TTTS_v4整合了tokenizer训练、VQVAE训练和GPT语音合成技术,旨在生成高质量的自然语音。此外,项目还提供模型微调功能,适用于多种语言场景和个性化需求。
dataspeech - 简化语音数据集标注与处理的实用工具
Data-SpeechGithub开源项目数据标注语音AI语音数据集音频转换
Data-Speech是一套用于语音数据集标注的实用脚本工具。它提供简洁代码库,支持音频转换和注释,有助于语音AI模型开发。该工具能重现研究论文中的注释方法,使用自然语言描述标注说话者特征。Data-Speech可处理LibriTTS-R和MLS等数据集,并为Parler-TTS库提供支持。它提供从数据集注释、特征映射到自然语言描述生成的完整工作流程。
metricgan-plus-voicebank - 基于MetricGAN+的开源语音增强模型实现PESQ 3.15分及STOI 93.0分
GithubHuggingfaceMetricGANPyTorchSpeechBrainVoicebank开源项目模型语音增强
MetricGAN+是一个基于SpeechBrain框架开发的语音增强模型,在Voicebank-DEMAND数据集测试中达到PESQ 3.15分和STOI 93.0分。模型支持16kHz采样率音频处理,提供Python接口实现音频降噪和质量优化。项目开源,可用于语音处理和音频增强等应用场景。
bigvgan_v2_24khz_100band_256x - 大规模训练的通用神经声码器
BigVGANGithubGradioHuggingfacePyTorch开源项目模型神经声码器音频合成
该项目通过大规模训练为神经声码器领域带来了新的发展。其自定义的CUDA内核实现了1.5至3倍的推理速度提升,满足高效应用需求。利用多尺度的子频段判别器和梅尔谱损失进行训练,适应多种音频环境,涵盖多语言语音和环境音等。项目还集成至Hugging Face Hub,提供预训练模型和交互式演示,支持最高24 kHz的采样率和多种频段配置,为语音合成领域的研究者和开发者提供便利。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号