项目概述
Vikhr-Nemo-12B-Instruct-R-21-09-24是由VikhrModels团队开发的一个基于Mistral-Nemo的升级版大语言模型。该模型主要针对俄语和英语进行了优化,并具有出色的多语言生成和RAG(检索增强生成)能力。
主要特点
- 在俄语和英语生成方面具有优秀的性能,可以胜任推理、总结、编程、角色扮演和对话等多种任务
- 支持系统提示来调整回答风格
- 继承自基础模型的128K上下文长度支持
- 具备Grounded RAG模式,可以通过documents角色进行文档检索和问答
技术实现
- 训练过程包含SFT和SMPO两个阶段
- 使用了150k条指令的GrandMaster-PRO-MAX数据集进行SFT训练
- 针对RAG能力训练了50k对话的Grounded-RAG-RU-v2数据集
- 使用自研的SMPO (一种DPO变体)方法进行模型对齐
性能评估
- 在ru-arena-general基准测试中达到79.8%的胜率
- 在RAG基准测试中表现优异,对于领域内问题正确率68%,领域外问题正确率92%
- 性能可与GPT-4o-mini相媲美
使用特点
- 支持API形式调用
- 可以处理Markdown、HTML和纯文本格式的文档
- 每个文档内容长度可达4k字符
- 通过documents角色提供JSON格式的文档列表
- 能够返回相关文档ID和基于文档的详细回答
局限性
- 回答的安全性水平较低
- 系统提示主要用于指定回答风格,不适合角色扮演
- 需要用户自行测试并注意安全性问题