#多头解码

Medusa是一个通过多解码头技术加速LLM生成的开源框架，支持7B、13B和33B模型权重。提供便捷的pip安装和源码构建选项，允许自定义模型格式加载。支持单GPU推理，未来将集成更多推理框架，开放社区贡献。