#提示词压缩

LLMLingua

LLMLingua系列是一套创新的提示词压缩工具，可将提示词压缩至原长度的5%，同时保持大语言模型性能。通过小型语言模型识别并移除非必要标记，该技术有效解决长文本处理和上下文遗忘等问题，大幅降低API使用成本并提高推理效率。LLMLingua系列包含三个版本，适用于检索增强生成、在线会议和代码处理等多种场景。

llmlingua-2-bert-base-multilingual-cased-meetingbank

LLMLingua-2-Bert是一个基于BERT多语言模型开发的提示词压缩工具，通过数据蒸馏技术实现任务无关的提示词压缩功能。该模型可识别并保留提示词中的关键信息，在维持原始语义的基础上减少token使用量。模型支持多语言处理，提供API接口，适用于需要控制提示词长度的各类AI应用场景。