LLMLingua
LLMLingua系列是一套创新的提示词压缩工具，可将提示词压缩至原长度的5%，同时保持大语言模型性能。通过小型语言模型识别并移除非必要标记，该技术有效解决长文本处理和上下文遗忘等问题，大幅降低API使用成本并提高推理效率。LLMLingua系列包含三个版本，适用于检索增强生成、在线会议和代码处理等多种场景。
