相关项目
ultravox
Ultravox 是一个创新的多模态大语言模型，能直接理解文本和语音，无需单独的语音识别步骤。基于 Llama 3 模型，它通过多模态投影器将音频转换为高维空间。Ultravox 的首字响应时间约为 200 毫秒，每秒可生成约 100 个 token，有效支持实时语音交互。目前支持音频输入和文本输出，未来计划增加语音输出功能。
ultravox-v0_3
Ultravox-v0_3是Fixie.ai开发的多模态语音大语言模型，结合Llama3.1-8B-Instruct和Whisper-small技术。该模型可同时处理语音和文本输入，适用于语音助手、翻译和分析等场景。通过知识蒸馏方法，仅训练多模态适配器，保持基础模型不变。Ultravox在语音识别和翻译任务中展现出优秀性能，为语音交互应用提供了新的可能性。
ultravox-v0_4
Ultravox是一种多模态语言模型，结合了Llama3.1-8B和Whisper-medium技术，支持语音和文本的输入。通过特殊音频标记，该模型将音频转换为文本嵌入以生成输出。未来版本计划支持直接生成语音。Ultravox可以应用于语音代理、翻译和音频分析。模型使用多语种语音识别数据集进行训练，并在8x H100 GPU上运用BF16精度。最新版本在A100-40GB GPU上实现首次生成标记时间约为150毫秒。