Project Icon

PaSST

Patchout技术优化音频变换器训练效率及性能

PaSST项目开发的Patchout方法通过丢弃部分输入patch优化音频频谱图变换器模型训练。该技术显著降低训练时间和GPU内存消耗,同时提升模型性能。Patchout支持随机丢弃或丢弃整个时间帧、频率区间。项目提供预训练模型、推理和嵌入提取功能,以及下游任务微调框架,为音频AI研究和应用提供全面支持。

Retrieval-based-Voice-Conversion-WebUI - 开源AI变声框架 实现实时变声和快速模型训练
GithubWebUI人工智能变声开源项目训练语音转换
Retrieval-based-Voice-Conversion-WebUI是一个基于VITS的开源变声框架。该项目支持实时变声和快速模型训练,只需少量数据即可生成高质量变声模型。框架提供多语言界面和跨平台支持,并配有详细教程。项目采用检索式方法替换输入源特征,有效防止音色泄漏。支持在中低配置GPU上快速训练,并可通过模型融合调整音色。WebUI界面简洁直观,内置UVR5模型便于人声分离。采用InterSpeech2023-RMVPE算法提取音高,性能出色且资源占用低。该框架支持多种硬件加速,适用于不同用户需求,是一个功能丰富且操作简便的AI变声工具。
snac - 多尺度神经音频编解码器实现低比特率音频压缩
GithubSNAC低比特率分层令牌开源项目神经网络编解码器音频压缩
SNAC是一种多尺度神经音频编解码器,能将音频压缩为低比特率的离散编码。它使用分层令牌编码方法,通过降低粗糙令牌的采样频率来覆盖更长时间跨度,有效节省比特率并支持长时间音频建模。SNAC提供多个预训练模型,适用于语音和音乐等场景,采样率覆盖24kHz至44kHz。开发者可使用Python简单实现音频编码和解码。
RapidASR - 开源多模型语音识别框架
GithubONNXRuntimeRapid ASR开源项目模型转换语音识别
RapidASR是一个开源语音识别框架,集成多种模型如Paraformer、WeNet和PaddleSpeech。它支持Python和C++接口,兼容Linux、Windows和Mac系统。该项目结合了语音识别、语音活动检测和标点恢复功能,提供完整的语音转文本流程。RapidASR采用ONNXRuntime推理引擎,支持批量处理,性能稳定且持续更新。其核心代码已并入FunASR,具有良好的扩展性和兼容性。项目还提供详细的文档导航,适用于各种语音识别应用场景,便于开发者快速上手和使用。
wav2vec2-btb-cv-ft-btb-cy - 基于微调的语音识别模型,提升准确度与适用性
GithubHuggingfacewav2vec2开源项目损失率模型模型优化自动语音识别训练参数
此AI模型基于DewiBrynJones的wav2vec2-xlsr-53-ft-btb-cv-cy微调而成,专注提升自动语音识别精确度。评估词错误率为0.3402,表现出明显改善。使用Adam优化器,学习率为0.0003,训练批次为4。适用于高精度需求的语音识别场景,但因缺乏训练数据和用途的细节说明,适用性需谨慎评估。
snac_44khz - 多尺度神经音频编解码器实现低比特率音频压缩
GithubHuggingfaceSNAC低比特率开源项目模型神经音频编解码器音乐生成音频压缩
SNAC(Multi-Scale Neural Audio Codec)是一种创新的音频压缩模型,采用分层令牌方法将44kHz音频压缩至2.6kbps的低比特率。该模型引入粗糙令牌的低频采样机制,优化了音频编码效果。SNAC主要针对音乐数据训练,适用于音乐和音效处理。它提供多个预训练模型,支持不同采样率和比特率,便于在Python项目中进行音频编码和解码。SNAC在保持音质的同时,实现了高效的音频压缩,为音频处理领域提供了新的解决方案。
Chinese-FastSpeech2 - FastSpeech2模型的中文升级
BertProsodyFastSpeech2GithubHifiGAN中文语音合成开源项目韵律模型
Chinese-FastSpeech2项目基于FastSpeech2模型和标贝女声数据改进,引入韵律表征和预测模块增强中文发音的生动度及节奏感。项目提供完整的模型训练、预处理代码,支持交互式与API两种预测方式,并不断更新来优化语音合成服务的自然性。
ai-audio-startups - AI音频技术革新 音乐制作与语音处理新纪元
AI音频Github声音检测开源项目语音识别音乐生成音频分析
本项目收录了众多专注AI音频和音乐技术的创新企业,涉及音乐创作、制作、源分离、分析推荐、广播、播客、听力辅助、声音检测和语音技术等多个领域。这些初创公司运用人工智能,为音频内容创作者、音乐爱好者和专业人士开发先进工具和解决方案,推动音频技术不断进步。
audio2photoreal - AI驱动的音频转人物对话视频技术
AI合成Github对话场景开源项目深度学习计算机视觉音频到真人化身
audio2photoreal项目实现了音频到逼真人物对话视频的自动转换。该开源项目集成了面部表情和全身动作生成模型,能根据音频输入合成自然的人物表情和动作。项目提供预训练模型、训练代码和数据集,便于研究者复现和改进。这一技术为虚拟人物制作和视频合成领域开辟了新的可能性。
distil-whisper - 快速高效的音频转录模型
Distil-WhisperGithub开源项目机器学习模型压缩自然语言处理语音识别
Distil-Whisper是OpenAI Whisper模型的蒸馏版本,速度提升6倍,模型规模缩小49%,同时保持了相近的准确性。该项目支持短语音和长语音转录,提供多个针对英语语音识别的高效模型。Distil-Whisper还可作为Whisper的辅助模型实现推测解码,在保证输出一致性的同时将速度提升2倍。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号