相关项目
Medusa
Medusa框架通过多解码头技术加速大型语言模型(LLM)的生成，解决了草稿模型需求、系统复杂性和采样生成效率低的问题。在保持原模型性能的基础上，Medusa通过添加新解码头预测多个未来词，显著提升生成速度。最新的Medusa-2版本支持全模型训练和自我蒸馏，使任何微调后的LLM都能利用Medusa，无需原始训练数据。测试显示在不同LLM上提升了2.2-3.6倍的速度。
syncode
SynCode是一个基于语法约束的代码生成框架，旨在提升大型语言模型(LLM)的代码生成质量。该框架确保LLM输出的代码在语法上正确，适用于多种通用编程语言。SynCode内置支持Python、Go和SQL等语言的语法规则，同时允许用户自定义语法。它可与HuggingFace模型无缝集成，实现高效的语法引导生成，仅增加10%的计算开销。SynCode在保证代码语法正确性的同时，还能维持较高的生成速度。