#多解码头

Medusa框架通过多解码头技术加速大型语言模型(LLM)的生成，解决了草稿模型需求、系统复杂性和采样生成效率低的问题。在保持原模型性能的基础上，Medusa通过添加新解码头预测多个未来词，显著提升生成速度。最新的Medusa-2版本支持全模型训练和自我蒸馏，使任何微调后的LLM都能利用Medusa，无需原始训练数据。测试显示在不同LLM上提升了2.2-3.6倍的速度。