Github
Huggingface
文档项目概述
这是一个基于Meta Llama 3.1 8B模型微调的AI助手项目，名为Dolphin 2.9.4。该项目由Eric Hartford和Cognitive Computations团队开发和训练，旨在打造一个功能全面、交互自然的AI助手系统。
主要特性
- 基于Meta Llama 3.1 8B大语言模型
- 支持128K上下文长度，训练时使用8192序列长度
- 采用ChatML格式作为提示模板
- 具备指令理解、对话交互、编程等多项能力
- 支持函数调用和代理功能
- 可以理解和执行多语言指令
技术实现
该项目使用了多个高质量数据集进行训练，包括:
- Dolphin-2.9系列数据集
- CodeFeedback数据集
- Microsoft数学问题数据集
- FineTome金融数据集
- 其他系统对话和代理数据集
使用场景
模型可以应用于以下场景：
- 通用对话交互
- 编程辅助
- 数学问题求解
- 指令执行
- 系统代理任务
使用说明
模型使用ChatML格式进行交互，标准提示模板如下:
<|im_start|>system
You are Dolphin, a helpful AI assistant.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
注意事项
该模型是一个未经审查的版本，已移除了对齐和偏见数据。在将模型作为服务使用前，建议实施自己的对齐层。用户需要对使用该模型创建的内容负责，请谨慎使用。
性能表现
根据评测结果，该模型在多个任务上都展现出不错的性能：
- BBH基准测试中达到49.31%的准确率
- GPQA测试中达到29.03%的准确率
- MUSR测试中达到38.62%的准确率
- 在数学难题解决方面达到9.82%的准确率
