项目概述
Hermes-2-Pro-Llama-3-8B是一个基于Meta-Llama-3-8B模型进行优化升级的大型语言模型。这是Nous Hermes 2的升级版本,在OpenHermes 2.5数据集的基础上进行了更新和清理,同时引入了新的函数调用和JSON模式数据集。
主要特点
- 具备出色的通用任务处理和对话能力
- 在函数调用测评中达到90%的准确率
- 在结构化JSON输出评估中达到84%的准确率
- 新增了特殊令牌以增强流式处理能力
- 支持ChatML格式的提示词交互
- 提供了严格的JSON模式结构化输出
应用场景
该模型可以胜任多种应用场景:
- 智能对话和聊天交互
- 编程代码辅助
- 结构化JSON数据输出
- 函数调用和工具使用
- 故事创作和文本生成
技术实现
模型使用ChatML作为提示词格式,支持系统提示词引导模型的行为和角色。这种格式与OpenAI API兼容,便于开发者快速上手。模型支持两种特殊工作模式:
- 函数调用模式:通过特定的系统提示词结构实现可靠的函数调用
- JSON模式:能够按照指定的JSON模式生成结构化输出
性能评测
模型在多个基准测试中表现优异:
- GPT4All评测平均分:72.62
- AGIEval评测平均分:42.44
- BigBench评测平均分:43.55
- TruthfulQA评测也取得了不错的成绩
部署使用
模型支持多种部署方式:
- 使用HuggingFace Transformers库进行推理
- 使用量化版本降低资源消耗
- 支持通过LM Studio等图形界面工具使用
- 提供了详细的代码示例和使用说明
项目贡献
这是Nous Research、@interstellarninja和Fireworks.AI三方合作的成果。项目完全开源,并提供了详细的文档和示例代码,方便开发者学习和使用。