项目概述
Hermes-2-Pro-Llama-3-8B是一个基于Llama-3 8B模型优化的人工智能项目。这是Nous Hermes 2的升级版本,在OpenHermes 2.5数据集的基础上进行了更新和优化,并引入了独特的函数调用和JSON模式功能。
主要特点
- 优秀的基础能力: 在保持出色的通用任务处理和对话能力的同时,特别擅长函数调用和JSON结构化输出
- 函数调用性能: 在由Fireworks.AI合作开发的函数调用评估中取得90%的得分
- JSON输出: 在结构化JSON输出评估中达到84%的表现
- 特殊标记: 新增
<tools>
、<tool_call>
、<tool_response>
等特殊标记,提升了模型的分析能力
技术细节
提示词格式
- 采用ChatML作为标准提示词格式
- 支持系统提示词进行模型行为和风格的引导
- 与OpenAI API格式兼容,便于开发者使用
模型功能
- 函数调用: 通过特定系统提示词和结构实现可靠的函数调用功能
- JSON模式: 支持结构化JSON输出,可根据指定schema生成标准化响应
- 对话能力: 具备出色的多轮对话和上下文理解能力
性能表现
模型在多个基准测试中展现出色表现:
- GPT4All测试平均分: 72.62分
- AGIEval测试平均分: 42.44分
- BigBench测试平均分: 43.55分
实践应用
使用场景
- 智能对话系统
- 结构化数据生成
- 编程辅助
- 函数调用服务
- 故事创作和内容生成
部署要求
- 使用4bit量化时仅需约5GB显存
- 支持主流深度学习框架
- 可通过Hugging Face Transformers快速部署
使用建议
- 推荐使用LM Studio作为聊天界面
- 对于函数调用功能,建议参考官方GitHub仓库的示例
- 可以根据需求自定义系统提示词以获得更好的效果