Starling-LM-7B-beta - Starling-LM-7B-beta提升语言模型生成质量与安全性

项目介绍：Starling-LM-7B-beta

Starling-LM-7B-beta 是由 Nexusflow 团队开发的开源大语言模型。该团队成员分别是 Banghua Zhu、Evan Frick、Tianhao Wu、Hanlin Zhu、Karthik Ganesan、Wei-Lin Chiang、Jian Zhang 和 Jiantao Jiao。该项目在 Openchat-3.5-0106 的基础上进行微调，并结合使用来自 AI 反馈的强化学习（RLAIF）技术进行训练。Starling-LM-7B-beta 受 Apache-2.0 许可证保护，但不可用于与 OpenAI 的竞品开发。

模型说明

Starling-LM-7B-beta 是一种语言模型，源自 Openchat-3.5-0106，此基础模型上结合了新的奖励模型 Nexusflow/Starling-RM-34B 和策略优化方法（指南语言模型的偏好微调）。这些优化提高了模型的性能，在使用 GPT-4 作为评审官的 MT Bench 中获得了 8.12 的高分。

使用方法

Starling-LM-7B-beta 的设计与 Openchat-3.5-0106 的使用方法保持一致，用户可以参考该模型的详细使用说明。此外，Starling-LM-7B-beta 还被托管在 LMSYS Chatbot Arena 平台上，供用户免费进行测试。

在执行对话时，建议用户严格按照给定的聊天模板，以避免性能下降。为了确保输出不冗长，可以将温度参数设置为0。

以下是模型使用的模板格式：

import transformers
tokenizer = transformers.AutoTokenizer.from_pretrained("openchat/openchat-3.5-0106")

# 单轮对话
tokens = tokenizer("GPT4 Correct User: Hello<|end_of_turn|>GPT4 Correct Assistant:").input_ids

代码示例

以下是使用 Starling-LM-7B-beta 进行文本生成的示例代码：

import transformers

tokenizer = transformers.AutoTokenizer.from_pretrained("Nexusflow/Starling-LM-7B-beta")
model = transformers.AutoModelForCausalLM.from_pretrained("Nexusflow/Starling-LM-7B-beta")

def generate_response(prompt):
    input_ids = tokenizer(prompt, return_tensors="pt").input_ids
    outputs = model.generate(
        input_ids,
        max_length=256,
        pad_token_id=tokenizer.pad_token_id,
        eos_token_id=tokenizer.eos_token_id,
    )
    response_ids = outputs[0]
    response_text = tokenizer.decode(response_ids, skip_special_tokens=True)
    return response_text

# 单轮对话
prompt = "Hello, how are you?"
single_turn_prompt = f"GPT4 Correct User: {prompt}<|end_of_turn|>GPT4 Correct Assistant:"
response_text = generate_response(single_turn_prompt)
print("Response:", response_text)

许可协议

模型的使用受 OpenAI 的数据生成使用条款和 ShareGPT 的隐私实践的约束。如果发现任何潜在的违规行为，请联系我们。

致谢

Nexusflow 团队感谢来自 UC Berkeley 的 Tianle Li 对这个测试版的详细反馈和评估，同时感谢 LMSYS 组织对数据集、评估和在线演示的大力支持。Starling-LM-7B-beta 项目的开发依托于开源社区所提供的数据集和基础模型，包括（但不限于）Anthropic、Llama、Mistral、Hugging Face H4、LMSYS、OpenChat、OpenBMB、Flan 和 ShareGPT。

这个项目致力于提升语言模型的有用性和安全性，为用户提供更稳定和有效的自然语言处理工具。欢迎大家积极参与使用及反馈，以推动模型优化和进步。