热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#EAGLE
EAGLE - 大型语言模型快速解码的新突破
EAGLE
大语言模型
快速解码
性能维持
推理速度
Github
开源项目
EAGLE项目为大型语言模型提供了一种高效的快速解码方法。通过创新的特征外推技术,EAGLE显著提升了生成效率。其改进版EAGLE-2引入了动态草稿树结构,进一步优化了性能。与传统解码方法相比,EAGLE和EAGLE-2在13B模型上分别实现了3倍和4倍的速度提升。该开源项目不仅提供了多种预训练模型权重,还支持各类LLM架构,并配备了详尽的使用文档和评估工具。
1
1
相关文章
EAGLE: 大语言模型高效推理的新基线
2 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号