相关项目
ltu
LTU和LTU-AS是首个桥接音频和语音感知与理解的大型语言模型。这两个模型在多个封闭式音频和语音任务上达到最先进水平,同时能基于给定音频回答开放式问题。项目提供PyTorch实现、预训练模型和数据集,支持推理和微调。发布的OpenAQA和OpenASQA训练数据集为音频和语音理解研究提供了重要资源。
ichigo
Ichigo是一个开放的研究项目，旨在为文本语言模型增加本地化的语音交互能力。使用早期融合技术与公开数据和权重，它可以在设备端运行，类似本地化的Siri。项目的近期进展包括提升模型在复杂交互中的语音指令跟随能力，并训练模型在背景噪音中拒绝非语音输入。项目还提供开放的合作机会，计划未来通过众包进行语音数据集扩展。更多技术细节及成果已在最新发布的研究论文中详述。