Project Icon

PaSST

Patchout技术优化音频变换器训练效率及性能

PaSST项目开发的Patchout方法通过丢弃部分输入patch优化音频频谱图变换器模型训练。该技术显著降低训练时间和GPU内存消耗,同时提升模型性能。Patchout支持随机丢弃或丢弃整个时间帧、频率区间。项目提供预训练模型、推理和嵌入提取功能,以及下游任务微调框架,为音频AI研究和应用提供全面支持。

LLM-Codec - 跨模态音频处理新方案:LLM驱动音频编解码模型
GithubLLM-CodecUniAudio 1.5大语言模型开源项目跨模态学习音频处理
LLM-Codec是一种创新音频编解码模型,将音频转换为文本空间,实现跨模态学习。基于LLM-Codec的UniAudio 1.5能通过少量示例执行多种音频任务,包括语音情感分类、音频分类和语音增强。该开源项目为少样本音频任务学习和多模态LLM研究开辟了新途径。
distil-whisper - 快速高效的音频转录模型
Distil-WhisperGithub开源项目机器学习模型压缩自然语言处理语音识别
Distil-Whisper是OpenAI Whisper模型的蒸馏版本,速度提升6倍,模型规模缩小49%,同时保持了相近的准确性。该项目支持短语音和长语音转录,提供多个针对英语语音识别的高效模型。Distil-Whisper还可作为Whisper的辅助模型实现推测解码,在保证输出一致性的同时将速度提升2倍。
audio2photoreal - AI驱动的音频转人物对话视频技术
AI合成Github对话场景开源项目深度学习计算机视觉音频到真人化身
audio2photoreal项目实现了音频到逼真人物对话视频的自动转换。该开源项目集成了面部表情和全身动作生成模型,能根据音频输入合成自然的人物表情和动作。项目提供预训练模型、训练代码和数据集,便于研究者复现和改进。这一技术为虚拟人物制作和视频合成领域开辟了新的可能性。
StyleSpeech - 多说话人自适应文本转语音生成
GithubMeta-StyleSpeech开源项目文本到语音自适应音质预训练模型
Meta-StyleSpeech项目结合最新的多说话者适应性文本到语音合成技术,通过样本少量的语音输入即可生成高质量合成语音。该项目运用风格自适应层归一化技术,高效适配不同说话者的声音特征。提供预训练模型和在线演示供实际应用测试。
espnet - 端到端语音处理工具包,涵盖语音识别及转换
ESPnetGithub开源项目文本转语音深度学习语音处理语音识别
ESPnet是一个端到端语音处理模块,封装了多个领域的语音处理任务,如语音识别、文本到语音、语音翻译、语音增强和说话人分割等。该平台基于Pytorch开发,采用符合Kaldi风格的数据处理方法,提供针对各类语音处理实验的完整解决方案。ESPnet支持多语言处理,并能够调整自身以适应不同的语言和环境。
MASR - 基于Pytorch的开源自动语音识别框架
GithubMASRPytorch开源项目流式识别语音识别预训练模型
MASR是基于Pytorch开发的自动语音识别框架,支持流式和非流式识别。框架集成了多种模型,如deepspeech2、conformer等,可用于短语音和长语音识别。MASR具备集束搜索和贪心解码功能,提供预训练模型,支持多设备部署。项目设计简洁实用,支持中英文识别,并配有完整文档。
dla - 深度学习音频处理综合课程
Deep Learning for AudioGithubHSE声源分离开源项目语音生成语音识别
此课程详细介绍了音频深度学习的各个方面,包括数字信号处理、语音识别、源分离、文本转语音、语音转换、语音生物识别及音频生成扩散模型。每周更新课程材料,涵盖从理论讲解到实操的全面学习。提供全面的作业和丰富的学习资源,适合深入了解音频处理技术的人士。
fish-diffusion - 开源框架简化TTS、SVS和SVC模型开发
AI模型Fish DiffusionGithub多说话人开源项目语音合成
Fish Diffusion是一个开源的语音合成训练框架,专注于TTS、SVS和SVC任务。基于扩散模型,它支持多说话人合成和44.1kHz高品质输出。该项目优化了代码结构,提高了训练效率,并提供完整的环境配置和使用指南。Fish Diffusion适合研究人员和开发者探索语音合成技术,同时强调负责任的AI应用。项目特点包括简化的代码结构、多设备训练支持和半精度训练,有助于提高开发效率和降低资源消耗。此外,还提供了详细的数据集准备和模型训练指南,便于用户快速上手。
dataspeech - 简化语音数据集标注与处理的实用工具
Data-SpeechGithub开源项目数据标注语音AI语音数据集音频转换
Data-Speech是一套用于语音数据集标注的实用脚本工具。它提供简洁代码库,支持音频转换和注释,有助于语音AI模型开发。该工具能重现研究论文中的注释方法,使用自然语言描述标注说话者特征。Data-Speech可处理LibriTTS-R和MLS等数据集,并为Parler-TTS库提供支持。它提供从数据集注释、特征映射到自然语言描述生成的完整工作流程。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号