#Yarn-Mistral

这是一个基于Mistral-7B-v0.1的模型扩展，采用YaRN方法完成1500步长文本预训练，将上下文窗口扩展至128K tokens。模型在长短文本处理方面保持稳定表现，通过ARC-c、Hellaswag、MMLU和Truthful QA等基准测试验证，适用于长文本处理场景。