Github
Huggingface
论文Hermes-3-Llama-3.1-8B-GGUF项目介绍
项目概述
Hermes-3-Llama-3.1-8B-GGUF是由Nous Research开发的最新版Hermes系列大语言模型(LLM)。这是Hermes 3的GGUF量化版本,专门用于llama.cpp框架。Hermes 3是一个通用型语言模型,在Hermes 2的基础上进行了多方面的改进,包括更强大的代理能力、更出色的角色扮演、推理能力、多轮对话、长文本连贯性等。
主要特点
- 使用ChatML作为提示格式,支持结构化的多轮对话。
- 提供系统提示功能,可以引导模型的规则、角色和风格选择。
- 具有强大的函数调用和结构化输出能力。
- 改进了代码生成技能。
- 在通用助手能力方面表现出色。
性能评估
Hermes 3在通用能力方面与Llama-3.1 Instruct模型相比具有竞争力,甚至在某些方面表现更优。项目提供了详细的基准测试比较结果。
使用方法
基本使用
Hermes 3使用ChatML格式进行提示。用户可以通过系统提示来引导模型的行为和风格。项目提供了使用Hugging Face Transformers库进行推理的示例代码。
函数调用
模型支持特定的系统提示和结构用于函数调用。用户需要提供函数签名JSON,然后模型将生成工具调用,用户的推理代码需要解析并执行该调用。
JSON模式/结构化输出
Hermes 3还支持结构化输出,可以根据指定的JSON模式生成响应。
量化版本
项目提供了GGUF量化版本,可在https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B-GGUF获取。
总结
Hermes-3-Llama-3.1-8B-GGUF是一个功能强大、灵活的大语言模型,适用于各种应用场景。它不仅在基本的对话和推理任务上表现出色,还提供了高级功能如函数调用和结构化输出,使其成为开发人员和研究人员的有力工具。
