LTU和LTU-AS是首个桥接音频和语音感知与理解的大型语言模型。这两个模型在多个封闭式音频和语音任务上达到最先进水平,同时能基于给定音频回答开放式问题。项目提供PyTorch实现、预训练模型和数据集,支持推理和微调。发布的OpenAQA和OpenASQA训练数据集为音频和语音理解研究提供了重要资源。

Audio Flamingo是一种创新音频语言模型，具备音频理解、快速任务适应和多轮对话能力。通过优化训练技术、架构设计和数据策略，该模型在多项音频理解任务中创建新基准。项目开源基础模型和对话模型的训练及推理代码。模型权重可从GitHub和HuggingFace获取，仅供非商业用途。