Yarn-Mistral-7b-128k

Yarn-Mistral-7b-128k项目介绍

项目概述

Yarn-Mistral-7b-128k是一个基于Mistral-7B-v0.1模型进行扩展的先进语言模型。这个项目由NousResearch团队开发，旨在提供更长的上下文窗口支持，达到了惊人的128k个token的处理能力。该模型使用YaRN扩展方法，在长上下文数据上进行了1500步的进一步预训练，以增强其处理长文本的能力。

技术特点

1. 基于Mistral-7B-v0.1模型进行扩展
2. 支持128k token的上下文窗口
3. 使用YaRN扩展方法进行训练
4. 采用Flash Attention 2技术提高效率

使用方法

要使用Yarn-Mistral-7b-128k模型，用户需要在加载模型时传递trust_remote_code=True参数。例如：

model = AutoModelForCausalLM.from_pretrained("NousResearch/Yarn-Mistral-7b-128k",
  use_flash_attention_2=True,
  torch_dtype=torch.bfloat16,
  device_map="auto",
  trust_remote_code=True)

此外，用户还需要安装最新版本的transformers库：

pip install git+https://github.com/huggingface/transformers

性能表现

Yarn-Mistral-7b-128k在长上下文处理方面表现出色。在128k token的上下文窗口下，其困惑度（PPL）达到了2.19，远优于原始Mistral-7B-v0.1模型在8k上下文窗口下的2.96。

在短上下文任务中，虽然有轻微的性能下降，但仍保持了较高的水平。例如，在ARC-c、Hellaswag、MMLU和Truthful QA等基准测试中，Yarn-Mistral-7b-128k的表现与原始Mistral-7B-v0.1模型相差不大。

项目贡献者

这个项目是由一个充满热情的团队共同努力的结果。主要贡献者包括：

1. bloc97：负责方法、论文和评估
2. @theemozilla：负责方法、论文、模型训练和评估
3. @EnricoShippole：负责模型训练
4. honglu2875：负责论文和评估

技术支持

项目得到了LAION AI的计算资源支持，模型训练在JUWELS超级计算机上完成。这种高性能计算环境为模型的大规模训练提供了必要的硬件支持。

总结

Yarn-Mistral-7b-128k项目代表了自然语言处理领域的一个重要进展。通过显著扩展上下文窗口大小，该模型为处理长文本和复杂任务开辟了新的可能性。尽管在某些短文本任务上略有性能损失，但其在长文本处理方面的优势使其成为需要处理大量上下文信息的应用场景的理想选择。