#音频分析

audioFlux是一个开源工具库，专注于音频和音乐的分析及特征提取。支持多种时间频率变换方法和多种特征组合，适用于分类、分离、音乐信息检索（MIR）和自动语音识别（ASR）等任务。该库跨平台且核心由高性能C语言实现，支持FFT硬件加速，适合大规模数据处理。最新版本引入了多种音高算法及音高移位和时间伸缩算法。

Qwen2-Audio是一款先进的音频语言模型，可处理多种音频输入并执行分析或生成文本响应。该模型提供语音交互和音频分析两种功能，在13项基准测试中展现出色性能，包括语音识别、翻译和情感分析等任务。目前已发布Qwen2-Audio-7B和Qwen2-Audio-7B-Instruct两个版本。

Any Summary是AI驱动的文件摘要工具，能快速分析文本、音频和视频文件。利用ChatGPT技术提取关键点和洞见，支持自定义摘要格式如要点、引用或完整摘要。用户可提供个性化指令，适用于长篇采访和复杂文档的信息提取，提高信息处理效率。

Polymath是一款基于机器学习的音乐库转换工具,可将任意音乐库转化为音乐制作样本库。该工具能自动分离歌曲声部,统一量化节奏和拍子,分析音乐结构和调性,并完成音频到MIDI的转换。Polymath为音乐制作人、DJ和音频开发者提供了可搜索的样本库,简化了音乐创作流程。使用者可以方便地组合不同歌曲元素,创作新作品或制作DJ混音。对于机器学习开发者,Polymath也简化了大型音乐数据集的创建过程。

AudioShake为音频分离和处理提供全面解决方案。平台能将录音拆分为独立音轨，增强音频的互动性和灵活性。适用于混音母带、本地化字幕、互动体验、同步授权和歌词转录等多个领域。其技术受到业界广泛认可，为音频行业注入新活力。

uLipSync是一款Unity口型同步资产,采用Job System和Burst Compiler技术提高性能。支持实时分析和预烘焙处理,可集成Timeline并转换为AnimationClip。系统支持角色配置文件创建、麦克风输入、VRM模型和WebGL。提供校准工具便于调整口型同步效果。

本项目收录了众多专注AI音频和音乐技术的创新企业，涉及音乐创作、制作、源分离、分析推荐、广播、播客、听力辅助、声音检测和语音技术等多个领域。这些初创公司运用人工智能，为音频内容创作者、音乐爱好者和专业人士开发先进工具和解决方案，推动音频技术不断进步。

AudioKit是一个开源的音频合成、处理和分析平台，支持iOS、macOS（含Catalyst）和tvOS。该框架提供丰富的音频处理工具和API，便于开发者创建音频应用。AudioKit可通过Swift Package Manager集成，并配有详细文档和示例代码。作为开源项目，它拥有活跃的社区支持，为开发者提供持续更新和问题解决。

pyAudioAnalysis是一个开源的Python音频分析库,提供音频特征提取、分类、分割等功能。它支持分类器训练评估、未知声音分类、事件检测、监督/非监督分割、回归模型训练和数据可视化。通过Python接口或命令行,可实现复杂的音频分析任务。适用于音乐识别、语音处理等领域,为音频分析提供全面解决方案。

librosa是一个开源的Python音频分析库，用于音乐和声音处理。它提供音频加载、特征提取、频谱分析等功能，支持多种音频格式。librosa适用于音乐信息检索、音频特效制作和声学研究等领域。该库集成了信号处理算法，并提供文档和示例。librosa适合各级音频处理开发者使用。

Qwen2-Audio-7B-Instruct是一个开源的大规模音频语言模型，具备语音聊天和音频分析能力。该模型可处理多种音频输入，执行音频分析或回应语音指令。它支持批量推理，并提供Python代码示例，方便开发者集成语音交互和音频分析功能。这个模型为音频理解和处理任务提供了实用的解决方案。

WavLM-Base-Plus-SD是一个基于微软WavLM技术的预训练模型，专注于说话人分类任务。该模型在94,000小时的大规模语音数据上进行自监督学习，采用创新的话语混合训练策略，有效保留说话人身份信息。在SUPERB基准测试中，模型展现出卓越性能，可显著提升多种语音处理任务的效果。通过简洁的API接口，用户可直接对音频进行说话人分类分析。

Qwen2-Audio-7B是一个创新的音频语言模型，具备处理多种音频输入的能力。该模型提供语音聊天和音频分析两种交互模式，支持自由语音对话及音频文本混合分析。模型发布了预训练和对话两个版本，为音频理解和处理领域带来了新的可能性。