#效率优化
相关项目
Awesome-Efficient-LLM
Awesome-Efficient-LLM项目汇总了针对大型语言模型优化的关键技术，包括知识蒸馏、网络剪枝、量化和加速推理等，支持研究者和开发者获取最新的效率提升方法和学术文献。该平台定期更新，提供过去60天内的相关研究成果，便于用户系统地探索和应用这些高效技术。
litepose
LitePose是一种针对边缘设备的高效单分支架构，专用于实时多人姿态估计。通过融合解卷积头和大卷积核，该模型显著提升了性能。在移动平台上，LitePose将延迟降低5倍，同时保持估计精度。项目开源了预训练模型、训练脚本和评估工具，支持COCO和CrowdPose数据集。
efficient-splade-VI-BT-large-doc
SPLADE模型是一种针对文档检索的高效架构,采用查询和文档推理分离设计。该模型在MS MARCO开发集上达到38.0 MRR@10和97.8 R@1000的性能,同时将推理延迟降至0.7毫秒。它在保持与先进神经排序器相近效果的同时,大幅缩短了延迟,接近传统BM25的速度,为文档检索领域提供了平衡效率与准确性的新方案。
efficient-splade-VI-BT-large-query
efficient-splade-VI-BT-large-query是一款高效的文档检索SPLADE模型。该模型采用查询和文档推理分离架构，在MS MARCO数据集上实现38.0 MRR@10和97.8 R@1000的性能，查询推理延迟仅0.7毫秒。通过L1正则化和FLOPS正则化等技术，模型在保持接近先进单阶段神经排序器性能的同时，将延迟控制在与BM25相近水平，实现了效率与性能的平衡。