热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#模型剪枝
Awesome-Efficient-LLM
Awesome-Efficient-LLM项目汇总了针对大型语言模型优化的关键技术,包括知识蒸馏、网络剪枝、量化和加速推理等,支持研究者和开发者获取最新的效率提升方法和学术文献。该平台定期更新,提供过去60天内的相关研究成果,便于用户系统地探索和应用这些高效技术。
TextPruner
TextPruner提供低成本且无需训练的方法来优化预训练语言模型,通过减少模型尺寸加快推理速度。兼容多种NLU模型,提供用户友好的接口,支持词汇、Transformer和流水线剪枝。用户可以方便地根据需求自定义配置。详细文档和实验结果支持,帮助用户快速上手并验证性能提升。适用于Python 3.7及以上版本,依赖torch和transformers库。
SPViT
SPViT项目提出了一种单路径自注意力剪枝方法,将预训练ViT模型中的自注意力层剪枝为卷积层,形成混合模型结构。该方法通过权重共享机制降低了模型搜索成本,在减少计算资源消耗的同时保持了模型性能。实验表明,SPViT在多个基准测试中表现良好,为Vision Transformer模型的优化设计提供了新思路。
相关文章
Awesome-Efficient-LLM: 大型语言模型高效化技术的最新进展
2 个月前
SPViT:通过软令牌剪枝实现更快的视觉Transformer
2 个月前
Awesome-Efficient-LLM学习资料汇总 - 高效大语言模型压缩与加速技术
1 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号