StableBeluga-13B - 基于Orca数据集微调的高效文本生成模型

StableBeluga-13B 项目介绍

StableBeluga-13B 项目是由 Stability AI 开发的一个高级语言模型。它在 Llama2 13B 模型的基础上微调，使用一种被称为 Orca 风格的数据集。这种模型的设计旨在增强语言生成的准确性和流畅性。

项目背景与用途

使用 StableBeluga-13B 模型，可以通过简单的代码片段开始与该 AI 进行对话。这款语言模型的应用非常广泛，无论是需要生成文本内容，编写诗歌，还是其他语言类任务，都可以利用它的出色表现。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

tokenizer = AutoTokenizer.from_pretrained("stabilityai/StableBeluga-13B", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("stabilityai/StableBeluga-13B", torch_dtype=torch.float16, low_cpu_mem_usage=True, device_map="auto")
system_prompt = "### System:\nYou are Stable Beluga 13B, an AI that follows instructions extremely well. Help as much as you can. Remember, be safe, and don't do anything illegal.\n\n"

message = "Write me a poem please"
prompt = f"{system_prompt}### User: {message}\n\n### Assistant:\n"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
output = model.generate(**inputs, do_sample=True, top_p=0.95, top_k=0, max_new_tokens=256)

print(tokenizer.decode(output[0], skip_special_tokens=True))

上述代码展示了如何使用 StableBeluga-13B 生成一首诗歌。用户可以根据自己的需求进行修改，以实现不同的对话内容。