#推理效率
相关项目
SenseVoice
SenseVoice是一款支持多语言的语音解析模型,整合了自动语音识别、语种识别、情绪识别及音频事件检测功能。该项目采用非自回归端到端框架,可在超过50种语言上提供精准的语音识别服务,大幅降低了推理延迟,提供方便的微调脚本和多语种细粒度情绪分析,支持多种客户端语言和服务部署,适用于多种商业场景。
H2O
H2O项目提出了一种创新的KV缓存实现方法,通过识别对注意力分数贡献最大的少数token,显著减少了大型语言模型推理的内存占用。该项目引入了Heavy Hitter Oracle (H2O)作为KV缓存淘汰策略,在多个任务中验证了其准确性。在OPT-6.7B和OPT-30B模型上,H2O显著提高了推理吞吐量并减少了延迟,为大型语言模型的高效推理提供了新的解决方案。