#SALMONN

SALMONN

SALMONN是清华大学和字节跳动共同开发的大语言模型，能处理语音、音频和音乐输入。通过结合Whisper和BEATs编码器，SALMONN实现了多语言语音识别、翻译和音频-语音推理等功能。该模型可理解多种音频输入并执行文本和语音指令，展现了跨模态能力，推动了具听觉能力的人工智能发展。