BS-RoFormer

先进音乐源分离技术的开源实现

音乐源分离 BS-RoFormer 人工智能深度学习音频处理 Github 开源项目

BS-RoFormer是一个开源的音乐源分离项目，实现了先进的注意力网络技术。该项目采用跨频率和时间的轴向注意力以及旋转位置编码，显著提高了分离效果。支持立体声训练和多声部输出，为音乐处理领域带来新的可能。项目提供了详细的使用说明和应用案例，适合研究者和开发者使用。

文档

DeepFilterNet - 用于全频段音频（48kHz）的低复杂度语音增强框架

DeepFilterNetGithub全带宽音频实时处理开源项目语音增强降噪

DeepFilterNet是一个低复杂度的全频段音频（48kHz）实时语音增强框架，支持Linux、MacOS和Windows。该项目包含用于数据加载和增强的Rust代码模块，以及Python接口和预训练模型。它还支持LADSPA插件，用于实时噪声抑制，并提供详细的安装和使用指南，适用于终端命令行、Python脚本和深度学习模型训练等多种应用场景。

speech-separation-ami-1.0 - 基于pyannote.audio的多说话人语音分离与分类系统

GithubHuggingfacepyannote.audio开源项目模型语音分离语音识别说话人分离音频处理

这是一个基于pyannote.audio的开源项目，实现了同步的说话人分类和语音分离功能。系统接收16kHz采样率的单声道音频，输出说话人分类结果和分离后的语音。该项目由Joonas Kalda基于AMI数据集开发，适用于实际多说话人场景。项目提供简洁的Python接口，支持GPU加速和内存处理，为语音分析提供了实用解决方案。

iSTFTNet-pytorch - 轻量级Mel频谱声码器

GithubMel-spectrogramVocoderiSTFTNet声音合成开源项目轻量级

iSTFTNet，一款结合逆短时傅里叶变换的Mel频谱声码器，训练速度较传统hifigan快30%，性能超前60%。以C8C8I模型为核心，优化声音质量和处理速度，适配快速高效的语音处理需求。虽主要为技术测试和验证，其音质和处理速度的优势已得到实证。

larger_clap_music - 大规模音乐音频分类及特征提取的模型解决方案

CLAPGithubHuggingfaceRoBERTaTransformer开源项目模型神经网络音频分类

通过对比语言音频预训练技术，CLAP模型实现高效的音频和文本特征提取和分类，适用于无监督学习环境。模型兼具SWINTransformer和RoBERTa的优点，可用来评估音频与文本间的相似性，且能满足多种音频分类和嵌入需求。

CrossFormer - 融合跨尺度注意力的高效视觉Transformer

CrossFormer++Github图像分类开源项目目标检测视觉Transformer跨尺度注意力

CrossFormer++是一种创新的视觉Transformer模型，通过跨尺度注意力机制解决了不同尺度对象特征间建立关联的问题。该模型引入跨尺度嵌入层和长短距离注意力等设计，并采用渐进式分组策略和激活冷却层来平衡性能与计算效率。在图像分类、目标检测和语义分割等视觉任务中表现优异，尤其在密集预测任务中效果显著。CrossFormer++为计算机视觉领域提供了一种灵活高效的新型架构。

LookOnceToHear - 视觉引导的智能目标语音提取系统

GithubLook Once to Hear开源项目智能听力系统目标说话人识别语音分离音频处理

Look Once to Hear 项目开发了一种新型智能听觉系统，通过短暂观察目标说话者即可实现选择性听取其声音。该技术结合计算机视觉和语音处理，能在嘈杂环境中准确提取目标语音。项目获得 CHI 2024 最佳论文荣誉提名，并公开了相关代码、数据集和评估方法，为智能听觉研究提供了重要参考。

rnnoise - 开源深度学习实时语音降噪库

GithubRNNoise噪音抑制开源项目机器学习神经网络语音增强

RNNoise是一个开源的基于循环神经网络的噪声抑制库，专注于实时全频带语音增强。它采用混合DSP和深度学习方法，支持48kHz采样率的16位PCM文件处理。该项目提供简单的命令行工具，同时允许用户使用自定义数据集进行模型训练。RNNoise还支持可加载模型，提高了系统的灵活性和适应性。

ModuleFormer - 高效可扩展的模块化语言模型架构

GithubMoLMModuleFormer大语言模型开源项目模块化稀疏激活

ModuleFormer是一种新型MoE架构，结合棒断注意力头和前馈专家两种专家类型。通过稀疏激活，实现高效性、可扩展性和专业化。基于此架构的MoLM语言模型系列，参数规模40亿到80亿不等，在提高吞吐量的同时保持性能，易于扩展新知识和针对特定任务优化。MoLM在多项基准测试中展现出优秀的效率和性能。

all-in-one - 全能音乐结构分析工具自动识别节奏节拍和段落

AI模型GithubPyTorch开源项目深度学习音乐结构分析音频处理

All-In-One是一款音乐结构分析工具,可自动识别音乐速度、节拍、小节线、段落边界及标签。工具提供命令行和Python API,支持结果可视化和声音化,适用于音乐研究和应用开发。基于机器学习模型,具有快速处理、多格式支持等特点,并提供详细使用说明和高级研究功能。

oneformer_ade20k_dinat_large - OneFormer单一模型在多任务图像分割中实现卓越表现

ADE20kGithubHuggingfaceOneFormer图像分割实例分割开源项目模型语义分割

OneFormer模型借助单一架构和模块在ADE20k数据集上进行训练，适用于语义、实例和全景分割。通过使用任务令牌，该模型能够动态调整以满足不同任务要求，不仅显著优化了分割效果，还具备替代专门化模型的潜力。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com