相关项目
LongRoPE
LongRoPE项目提出了一种将大语言模型（LLM）上下文窗口扩展至超过200万个标记的方法。通过利用位置嵌入中的非均匀性，项目实现了8倍的上下文窗口扩展，无需微调。采用逐步扩展策略从256k微调至2048k上下文，避免了对超长文本的直接微调。LongRoPE还调整了原始窗口长度内的嵌入，确保在各种任务中保持高效表现，适用于对话、问答、长文档摘要及少样本学习。
internlm2_5-7b-chat
InternLM2.5-7B-Chat是一个开源的70亿参数大语言模型，在数学推理、百万字长文理解和工具调用等方面表现卓越。该模型在多项基准测试中超越同等规模模型，展现强大的综合能力。InternLM2.5-7B-Chat提供基础模型和对话模型，支持通过Transformers加载，并可使用LMDeploy、vLLM等方案部署，为开发者提供灵活的应用选择。