访问官网
Huggingface
论文LLMLingua-2-Bert-base-Multilingual-Cased-MeetingBank项目介绍
项目概述
LLMLingua-2-Bert-base-Multilingual-Cased-MeetingBank是一个基于XLM-RoBERTa大型模型微调的token分类模型，旨在实现高效且忠实的任务无关提示压缩。该项目源自Pan等人在2024年发表的论文《LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression》，是LLMLingua系列的最新成果。
核心功能
该模型的主要功能是对输入文本进行token级别的分类，以实现提示压缩。它使用每个token的保留概率（p_preserve）作为压缩的衡量标准。这种方法能够在保持原文本关键信息的同时，显著减少文本长度，从而提高大语言模型处理长文本的效率。
训练数据
模型的训练数据来源于一个专门构建的抽取式文本压缩数据集。这个数据集采用了LLMLingua-2论文中提出的方法论，以MeetingBank数据集作为种子数据。MeetingBank是由Hu等人在2023年发布的一个会议数据集，为模型提供了丰富的对话和讨论样本。
使用方法
项目提供了简单易用的Python接口。用户可以通过PromptCompressor类来实现文本压缩。使用时，只需指定模型名称，设置压缩率等参数，就可以对输入的提示文本进行压缩。压缩结果包括压缩后的文本、原始tokens、压缩后的tokens以及压缩率等信息。
特色功能
- 任务无关性：该模型可以应用于各种类型的文本压缩任务，不限于特定领域。
- 多语言支持：基于XLM-RoBERTa模型，具有强大的多语言处理能力。
- 可定制性：用户可以通过设置参数来控制压缩程度、保留特定标记等。
- 详细输出：除了压缩后的文本，还提供了详细的token级别标注结果，方便进行分析和调优。
应用场景
该项目在以下场景中特别有用：
- 长文本处理：帮助大语言模型更高效地处理超长文本输入。
- 会议记录总结：可以快速压缩和提取会议记录中的关键信息。
- 多语言文档处理：适用于需要处理多种语言文本的国际化应用。
- 对话系统优化：通过压缩用户输入，提高对话系统的响应速度和效率。
开源贡献
LLMLingua-2-Bert-base-Multilingual-Cased-MeetingBank项目采用MIT许可证，欢迎研究者和开发者使用和贡献。项目团队也鼓励使用者在相关研究中引用其论文，以支持进一步的学术交流和技术发展。
