#自回归解码

Prompt-lookup-decoding是一种创新解码技术，利用输入提示中的字符串匹配生成候选令牌序列，替代了传统投机解码中的草稿模型。该方法在输入相关任务中显著提升处理速度，同时保持输出质量。无需模型修改或额外数据存储，适用于各类解码器模型及解码策略。特别适合摘要、文档问答和多轮对话等存在高度n-gram重叠的任务，能有效提高处理效率。