Github
HuggingfaceNous-Hermes-llama-2-7b项目介绍
项目背景与概述
Nous-Hermes-llama-2-7b是一个先进的语言模型，由Nous Research团队进行细致微调，并在超过30万条指令的基础上进行了优化。微调过程由Teknium负责领导，包括数据集的策划，而计算资源则由Redmond AI赞助支持。此模型是基于与Hermes on Llama-1相同的数据集开发，以确保新旧版本的一致性，从而满足需要更强大功能同时保持传统特性用户的需求。
模型特点
Nous-Hermes-llama-2-7b以生成较长的回答、较低的幻觉率以及不含OpenAI的审查机制而著称。微调过程是在8x A100 80GB DGX机器上进行的，序列长度达到了4096字符。
模型训练
该模型几乎完全基于GPT-4的合成输出进行训练。高质量的GPT-4数据集为确保模型在知识性、任务完成度和风格上的卓越表现提供了支持。数据来源包括GPTeacher、角色扮演v1&2、代码指令数据集、Nous Instruct & PDACTL（未发表）等等。
合作伙伴
在整个微调和数据集策划过程中，众多团队和个人贡献了力量和资源，包括Teknium、Karan4D、Emozilla、Huemin Art以及Redmond AI。同时，特别感谢@winglian在一些培训问题上的支持。
以下是部分数据集贡献者：
- GPTeacher由Teknium提供
- Wizard LM是由nlpxucan提供
- Nous Research Instruct数据集由Karan4D和HueminArt提供
- GPT4-LLM和不自然指令集数据由微软公司提供
- Airoboros数据集由jondurbin提供
- Camel-AI领域专家数据集来自Camel-AI
- 代码Alpaca数据集由Sahil 2801提供
提示格式
该模型使用Alpaca的提示格式：
### Instruction:
<prompt>
### Response:
<leave a newline blank for model to respond>
或
### Instruction:
<prompt>
### Input:
<additional context>
### Response:
<leave a newline blank for model to respond>
基准测试结果
Nous-Hermes-llama-2-7b在多个基准测试中显示出色表现。以下是一些测试中的平均得分：
- GPT4All：平均得分为0.686
- BigBench：平均得分为0.3525
- AGIEval：平均得分为0.2975
应用示例与资源
使用huggingface transformers与Discord构建聊天机器人可参考以下链接：
LM Studio是一个良好的聊天界面选择，支持即将到来的GGML版本。
未来计划
Nous Research团队计划继续优化数据质量和引入新的数据过滤技术，以进一步提升模型性能。
模型使用
用户可以在Hugging Face上免费下载该模型。它适用于从创意文本生成到理解和遵循复杂指令的广泛语言任务。
