NeuralSynthesis-7B-v0.1 - NeuralSynthesis-7B-v0.1在多个基准数据集上展示出卓越的文本生成性能

NeuralSynthesis-7B-v0.1项目介绍

NeuralSynthesis-7B-v0.1是一个基于多模型合并技术开发的文本生成模型，其主要目标是提升自然语言生成能力。该项目使用LazyMergekit技术，将多个底层模型融合，旨在提高模型的综合表现。

模型组成

NeuralSynthesis-7B-v0.1通过合并以下模型构建而成：

MiniMoog/Mergerix-7b-v0.3
automerger/Ognoexperiment27Multi_verse_model-7B
AurelPx/Percival_01-7b-slerp
automerger/YamshadowExperiment28-7B

使用方法为model_stock，基准模型为automerger/YamshadowExperiment28-7B，数据类型为bfloat16。

应用场景

NeuralSynthesis-7B-v0.1主要应用于文本生成任务，能够根据给定的文本提示生成流畅且相关性强的自然语言文本。它适用于各种语言生成任务，如问答、内容创作等。

使用方法

以下是使用NeuralSynthesis-7B-v0.1模型进行文本生成的简单Python示例：

!pip install -qU transformers accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "Kukedlc/NeuralSynthesis-7B-v0.1"
messages = [{"role": "user", "content": "What is a large language model?"}]

tokenizer = AutoTokenizer.from_pretrained(model)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

评估结果概览

NeuralSynthesis-7B-v0.1在多个基准数据集上的测试结果表明，其在不同任务中的表现优异：

AI2 Reasoning Challenge (25-Shot)：73.04（标准化准确率）
HellaSwag (10-Shot)：89.18（标准化准确率）
MMLU (5-Shot)：64.37（准确率）
TruthfulQA (0-shot)：78.15（准确率）
Winogrande (5-shot)：85.24（准确率）
GSM8k (5-shot)：70.81（准确率）

这些指标显示了NeuralSynthesis-7B-v0.1在不同文本生成任务上的优秀能力。详细的评估结果可在Open LLM Leaderboard查看。

通过整合多个模型的优势，NeuralSynthesis-7B-v0.1提供了强大的文本生成功能，有助于推动自然语言处理的研究和应用发展。