dolly-v2-3b - Databricks发布开源指令微调语言模型支持商业使用

dolly-v2-3b项目介绍

dolly-v2-3b是由Databricks公司开发的一款指令跟随型大型语言模型。这个模型基于EleutherAI的pythia-2.8b模型,经过了约15,000条指令-响应对的微调,形成了当前的能力。虽然dolly-v2-3b不是最先进的模型,但它展现出了令人惊讶的高质量指令跟随行为,这是其基础模型所不具备的特点。

模型概述

dolly-v2-3b是一个拥有28亿参数的因果语言模型。它由Databricks公司创建,基于EleutherAI的Pythia-2.8b模型进行了微调。微调数据集包含约15,000条由Databricks员工生成的指令语料,涵盖了头脑风暴、分类、封闭式问答、生成、信息提取、开放式问答和总结等多个能力领域。这个数据集以宽松的许可证(CC-BY-SA)发布。

使用方法

使用dolly-v2-3b非常简单。用户可以通过Hugging Face的transformers库轻松加载和使用该模型。只需几行代码,就可以创建一个文本生成pipeline:

import torch
from transformers import pipeline

generate_text = pipeline(model="databricks/dolly-v2-3b", torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto")

然后就可以使用这个pipeline来回答各种指令了:

res = generate_text("解释一下核裂变和核聚变的区别。")
print(res[0]["generated_text"])

除了直接使用,dolly-v2-3b还可以与LangChain等框架集成,为开发者提供更多灵活性。

局限性

尽管dolly-v2-3b展现出了不错的指令跟随能力,但它还存在一些局限性:

性能限制:dolly-v2-3b不是最先进的生成式语言模型,在某些任务上可能无法与更现代的模型架构或经过更大规模预训练的模型相媲美。
能力限制:该模型在处理语法复杂的提示、编程问题、数学运算、事实性错误、日期和时间、开放式问答等方面仍有困难。
数据集限制:模型反映了其训练语料库的内容和局限性。预训练语料可能包含有争议的内容,而指令微调数据集可能反映了Databricks员工的兴趣和语义选择。

基准测试

在EleutherAI的LLM评估基准上,dolly-v2-3b的表现优于其基础模型pythia-2.8b,但不及参数量更大的模型如dolly-v2-12b。这表明dolly-v2-3b在指令跟随方面确实有所改进,但在整体性能上仍有提升空间。

总的来说,dolly-v2-3b是一个有趣的开源语言模型项目,为研究人员和开发者提供了一个可商用的指令跟随型模型。虽然它可能不是最强大的模型,但其开放性和易用性使其成为探索和学习大型语言模型的理想选择。