#Speculative Decoding

该开源项目聚焦于推测解码技术的研究与实现，旨在提升大型语言模型的文本生成效率。项目涵盖了多种推测解码策略，包括提前退出、推测采样和先知变压器。同时，项目致力于优化批处理推测解码，以增强整体性能。研究计划还包括对比不同策略的效果，并探索微观优化方法。这些工作为加快AI模型推理速度提供了新的技术思路。