gritlm
本页面详细介绍了生成代表性指令微调(GRIT)技术,该技术训练大型语言模型同时处理生成和嵌入任务。GritLM 7B在大规模文本嵌入基准测试(MTEB)中树立了新标杆,并在多种生成任务中表现出色。GritLM 8x7B在开放生成语言模型中表现最佳,同时在嵌入任务中保持领先。GRIT结合生成和嵌入训练,无性能损失,并提高了检索增强生成(RAG)的速度超过60%。代码和模型均已免费开放,欢迎社区贡献和使用。