Project Icon

InfLLM

优化大规模语言模型处理超长序列的无训练记忆方法

InfLLM是一种新型无训练记忆方法,可有效处理超长序列。通过将远程上下文存储在额外的存储单元中并采用高效机制进行注意力计算,InfLLM在保持长距离依赖捕捉能力的同时,提高了处理效率。即使在序列长度达到1,024K的情况下,InfLLM仍表现优越,无需连续训练即可超越许多基线模型。

InfLLM 项目介绍

项目背景

现如今,面对长篇文本输入的应用程序,特别是由大模型(LLMs)驱动的智能代理,已经在现实世界中扮演起重要角色。然而,现有的大语言模型由于在训练时仅对特定长度的序列进行学习,因此在应对长序列时常出现无法泛化和注意力分散的问题。为了减轻这些问题,现有的方法通常采用滑动注意窗口,甚至丢弃远端的tokens来处理超长序列。然而,这样的方法往往不能有效捕捉序列中长距离的语义关系。

InfLLM 项目旨在通过一种基于记忆而不需要训练的新方法,揭示大语言模型在处理流动长序列时的内在能力。具体来说,InfLLM 将远端上下文存储在额外的记忆单元中,并采用一种高效的机制查找与当前token相关的记忆单元进行注意力计算。这样,InfLLM 使得大语言模型在保持长距离依赖捕捉能力的同时,能够高效地处理长序列。

项目亮点

  1. 训练无关的记忆能力:不需要额外训练,即可让大语言模型在处理长序列时表现优异,甚至当序列长度扩展到1,024K时仍能有效捕捉长距离依赖。

  2. 低硬件要求:通过改进代码,提升了推理速度并减少了GPU内存的使用,使得在标准硬件配置下就能运行。

  3. 支持最新的模型和技术:包括对 LLaMA 3 的支持,并利用了 faiss 的 topk 检索功能,进一步强化了性能。

使用方法

配置

InfLLM 使用 YAML 文件进行配置,用户可以在 config/ 目录下找到示例配置文件。主要配置项包括模型路径、使用的注意力模式、记忆单元配置等。所有的配置选项都可以调整,以适应具体的应用场景。

运行评估

评估过程中,项目提供了 InfiniteBench 和 LongBench 两个评估基准。用户可以运行项目提供的脚本下载所需的数据集,并通过简单的命令在单个或多个 GPU 上进行评估。

bash scripts/download.sh
bash scripts/[infinitebench,longbench].sh

聊天机器人集成

InfLLM 集成了 fastchat 的 CLI 接口,用户可以通过命令行启动聊天机器人,与模型进行交互。

python -m inf_llm.chat \
    --model-path mistralai/Mistral-7B-Instruct-v0.2 \
    --inf-llm-config-path config/mistral-inf-llm.yaml

依赖环境

项目对底层环境的要求如下:

  • torch >= 1.13.1
  • transformers >= 4.37.2
  • fschat >= 0.2.35
  • datasets >= 2.17.0
  • 其他依赖详见项目代码

项目引用

如果您觉得 InfLLM 项目有用,欢迎在相关研究中引用我们:

@article{xiao2024infllm,
  author       = {Chaojun Xiao and Pengle Zhang and Xu Han and Guangxuan Xiao and Yankai Lin and Zhengyan Zhang and Zhiyuan Liu and Song Han and Maosong Sun},
  title        = {InfLLM: Unveiling the Intrinsic Capacity of LLMs for Understanding
                  Extremely Long Sequences with Training-Free Memory},
  journal      = {arXiv},
  year         = {2024}
}

InfLLM 项目通过创新的记忆机制,展现了大语言模型在处理超长序列时的强大潜力,为相关领域的研究和应用提供了新的思路和方法。

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号