PaSST
PaSST项目开发的Patchout方法通过丢弃部分输入patch优化音频频谱图变换器模型训练。该技术显著降低训练时间和GPU内存消耗，同时提升模型性能。Patchout支持随机丢弃或丢弃整个时间帧、频率区间。项目提供预训练模型、推理和嵌入提取功能，以及下游任务微调框架，为音频AI研究和应用提供全面支持。
larger_clap_music_and_speech
larger_clap_music_and_speech是一个针对音乐和语音优化的CLAP模型。它结合SWINTransformer和RoBERTa处理音频和文本特征，实现潜在空间的特征映射。该模型支持零样本音频分类和特征提取，可在CPU和GPU上运行。作为音频理解和分析的有力工具，它在音乐识别和语音处理等领域具有广泛应用前景。
MERT-v1-95M
MERT-v1-95M模型在音乐音频预训练中应用新的范式和数据集，实现出色的任务泛化能力。与MERT-v0相比，该版本采用更高质量的伪标签，在24K Hz频率下训练了20,000小时的音频数据，支持音乐生成。95M参数的模型适合不同的硬件需求，输出75 Hz的特征速率。通过整合MLM预测和批内噪声混合技术，MERT-v1-95M在多种下游任务中表现出色。
wavlm-base
WavLM是基于自监督学习的语音预训练模型，旨在支持多种语音任务。模型在960小时Librispeech数据集上进行预训练，适用于语音识别和分类等任务，需在下游任务中微调。WavLM通过门控相对位置偏置和发音混合训练策略，强调说话者身份保留和内容建模，在SUPERB基准测试中表现优异。模型主要在英语环境中有良好表现，但目标是提供全语言栈的统一表示。
voice-safety-classifier
该项目提供了一个新的语音聊天毒性检测基准模型，基于大规模数据集开发。模型使用WavLM base plus权重，经过2,374小时语音多标签微调，输出标签包括Profanity、DatingAndSexting、Racist、Bullying等。评估显示模型在二元分类任务中的精度达到94.48%。使用者可通过特定命令运行模型权重进行应用。
larger_clap_music
通过对比语言音频预训练技术，CLAP模型实现高效的音频和文本特征提取和分类，适用于无监督学习环境。模型兼具SWINTransformer和RoBERTa的优点，可用来评估音频与文本间的相似性，且能满足多种音频分类和嵌入需求。
hubert-base-superb-ks
该语音关键词检测系统基于HuBERT预训练模型开发，可识别Speech Commands数据集中的10类预设命令词、静音和未知类别。模型在测试集达到96.72%准确率，支持16kHz采样率音频输入，集成transformers pipeline接口，便于设备端快速部署和调用。
wav2vec2-large-nonverbalvocalization-classification
该模型利用Nonverbal Vocalization数据集，基于wav2vec2架构，进行非语言声带的分类。可识别诸如咬牙、咳嗽、打哈欠、哭泣等声音分类。Wav2vec2模型不仅提升了语音识别的准确性，还增强了在多语言及多声学场景中的应用。该模型支持简单的部署与系统集成，优化了语音交互的体验。
wav2vec2-base-superb-ks
Wav2Vec2-Base模型支持SUPERB关键字识别任务，具备高准确性和快速响应的特点。该模型预训练于16kHz语音音频，采用Speech Commands数据集，通过Hugging Face的管道实现关键词检测，适应实时设备应用。