#Nous Hermes 2

Nous Hermes 2基于SOLAR 10.7B，是一款经过优化的对话AI模型，经过对大量GPT-4生成及其他优质数据的训练，表现优于SOLAR 10.7B基础模型，并接近Yi-34B。支持多种基准测试，包括GPT4All、AGIEval、BigBench和TruthfulQA。该模型支持ChatML聊天格式，适合复杂对话互动。即将推出的量化版本可通过LM Studio与模型进行ChatGPT风格的交互，支持ChatML。

Nous Hermes 2 Mixtral 8x7B SFT - AWQ由NousResearch开发，采用AWQ低比特量化技术，提供快速且精确的推理能力。支持4位量化的AWQ大幅提升了Transfomers推理速度，与GPTQ设定相比，保证了等同或更佳的质量表现。在Linux和Windows系统的NVIDIA GPU上运行良好，macOS用户建议使用GGUF模型。该模型结合来自多种开放数据集的百万条目数据，通过GPT-4生成数据进行训练，实现多项任务的业界领先性能，兼容Text Generation Webui、vLLM和Hugging Face TGI等多个平台，适用于不同环境下的高性能推理。