访问官网
Huggingface
论文Llama-3-Smaug-8B项目简介
背景介绍
Llama-3-Smaug-8B是一个基于Meta Llama 3的尖端项目，旨在提升模型在真实世界多轮对话中的表现。这个模型的开发得益于Smaug优化策略的应用，并且专注于处理多轮对话任务。该模型由Abacus.AI开发，并依托Meta Llama 3的架构进行进一步的微调和优化。
模型描述
- 开发机构: Abacus.AI
- 许可证: 该项目的许可证信息可以通过这个链接查看。
- 微调基础模型: Llama-3-Smaug-8B是从meta-llama/Meta-Llama-3-8B-Instruct进行微调的版本。
评估结果
Llama-3-Smaug-8B在MT-Bench测试中表现突出，通过多轮评分来评估模型的对话质量。具体得分如下：
- 第一轮得分: Llama-3-Smaug-8B达到了8.78，略高于Meta-Llama-3-8B-Instruct的8.31。
- 第二轮得分: 两个模型在该轮测试中同得7.89。
- 平均得分: Llama-3-Smaug-8B的平均得分为8.33，相较于Meta-Llama-3-8B-Instruct的8.10有一定提升。
| 模型 | 第一轮 | 第二轮 | 平均分数 |
|---|---|---|---|
| Llama-3-Smaug-8B | 8.78 | 7.89 | 8.33 |
| Meta-Llama-3-8B-Instruct | 8.31 | 7.89 | 8.10 |
数据集
为了充分训练Llama-3-Smaug-8B，该项目使用了多种数据集，包括:
- aqua_rat: 一个用于推理和解题的数据集。
- microsoft/orca-math-word-problems-200k: 一个涵盖数学应用题的大型数据集。
- m-a-p/CodeFeedback-Filtered-Instruction: 主要用于代码反馈的指令式数据集。
- anon8231489123/ShareGPT_Vicuna_unfiltered: 包含对话数据的ShareGPT数据集。
新技术和未来计划
Llama-3-Smaug-8B相比以往版本（如Smaug-72B）采用了全新的技术和数据，具体细节将在后续研究中公布。有关以往的Smaug研究的更多信息可参阅之前发布的论文：https://arxiv.org/abs/2402.13228。
通过这一项目，开发团队希望能够创造出更智能、更高效的多轮对话模型，并为自然语言处理领域的研究与应用提供新的可能性。
