Github
Huggingface
文档项目概述
magnum-v2-12b-gguf是一个大型语言模型项目，它是由Anthracite团队开发的第四代模型。该模型旨在复制Claude 3系列模型(特别是Sonnet和Opus)的文本生成质量。它是基于Mistral-Nemo-Base-2407模型进行微调得到的。
技术特点
- 该项目提供GGUF量化版本的模型权重
- 支持多语言处理能力，包括英语、法语、德语、西班牙语、意大利语、葡萄牙语、俄语、中文和日语
- 采用ChatML格式进行指令微调，便于对话交互
- 使用高性能的NVIDIA H100 Tensor Core GPU进行训练
- 经过2轮完整的参数微调训练
训练数据
模型的训练数据来源广泛且优质，主要包括：
- Stheno数据集(经过过滤)
- Opus_Instruct_25k数据集
- Opus_WritingStruct数据集
- Sonnet3.5-SlimOrcaDedupCleaned数据集(约16k条数据)
- Opus_Instruct_3k数据集
使用方法
模型采用ChatML格式进行对话，用户可以通过简单的提示词格式与模型进行交互。标准的输入格式如下：
<|im_start|>user
[用户输入内容]
<|im_end|>
<|im_start|>assistant
[模型回复内容]
<|im_end|>
项目特色
- 专注于提升文本生成质量，特别是在模仿Claude 3模型的生成效果方面
- 采用先进的Axolotl框架进行模型训练
- 由专业的Anthracite团队共同开发，确保模型质量
- 提供Apache-2.0开源许可，方便社区使用和改进
硬件要求
训练阶段使用了8张NVIDIA H100 Tensor Core GPU，这表明该模型需要较高的计算资源才能进行训练和微调。不过用户可以使用量化版本在较低配置的环境中运行模型。
