#效率优化

Awesome-Efficient-LLM项目汇总了针对大型语言模型优化的关键技术，包括知识蒸馏、网络剪枝、量化和加速推理等，支持研究者和开发者获取最新的效率提升方法和学术文献。该平台定期更新，提供过去60天内的相关研究成果，便于用户系统地探索和应用这些高效技术。

LitePose是一种针对边缘设备的高效单分支架构，专用于实时多人姿态估计。通过融合解卷积头和大卷积核，该模型显著提升了性能。在移动平台上，LitePose将延迟降低5倍，同时保持估计精度。项目开源了预训练模型、训练脚本和评估工具，支持COCO和CrowdPose数据集。

LLMLingua-2-xlm-roberta-large-meetingbank是一个基于XLM-RoBERTa的多语言提示压缩模型。该模型通过对MeetingBank数据集进行微调，实现了高效且忠实的任务无关提示压缩。它能够在保留关键信息的同时显著缩短提示长度，适用于多种自然语言处理任务。该模型可以轻松集成，有助于优化大语言模型的输入，提高处理效率并降低运算成本。

SPLADE模型是一种针对文档检索的高效架构,采用查询和文档推理分离设计。该模型在MS MARCO开发集上达到38.0 MRR@10和97.8 R@1000的性能,同时将推理延迟降至0.7毫秒。它在保持与先进神经排序器相近效果的同时,大幅缩短了延迟,接近传统BM25的速度,为文档检索领域提供了平衡效率与准确性的新方案。

efficient-splade-VI-BT-large-query是一款高效的文档检索SPLADE模型。该模型采用查询和文档推理分离架构，在MS MARCO数据集上实现38.0 MRR@10和97.8 R@1000的性能，查询推理延迟仅0.7毫秒。通过L1正则化和FLOPS正则化等技术，模型在保持接近先进单阶段神经排序器性能的同时，将延迟控制在与BM25相近水平，实现了效率与性能的平衡。