OpenChat: 利用混合质量数据推进开源语言模型

💻在线演示 | 🤗Huggingface | 📃论文 | 💭Discord

• OpenChat 是一个创新的开源语言模型库，使用C-RLFT进行微调 - 这是一种受离线强化学习启发的策略。
• 我们的模型从混合质量数据中学习，无需偏好标签，即使是7B模型也能在**消费级GPU（如RTX 3090）**上运行，达到与ChatGPT相当的卓越性能。
• 尽管我们采用简单的方法，但我们致力于开发高性能、具有商业可行性的开源大型语言模型，并持续朝着这一愿景取得重大进展。

✨ 新闻

• [2024/05/22] 我们发布了基于Llama-3的版本OpenChat 3.6 20240522，超越了官方Llama 3 8B Instruct和开源微调/合并版本。

• [2024/01/06] 我们发布了第二次更新，OpenChat 3.5 0106，进一步提升了编码和整体性能 🏆。

• [2023/12/10] 我们发布了第一次更新，OpenChat 3.5 1210，编码能力提升了15分 🚀。

• [2023/11/01] 我们发布了OpenChat-3.5-7B模型，在多个基准测试上超越了ChatGPT 🔥。

• [2023/09/21] 我们发布了论文OpenChat: 利用混合质量数据推进开源语言模型。

🏷️ 基准测试 - OpenChat 3.6

python -m ochat.evaluation.run_eval --condition "GPT4 Correct" --model openchat/openchat-3.6-8b-20240522 --eval_sets fs_cothub/mmlu fs_cothub/gsm8k fs_cothub/math
python -m ochat.evaluation.run_eval --condition "GPT4" --model openchat/openchat-3.6-8b-20240522 --eval_sets zs/gpqa

🏷️ 基准测试 - OpenChat 3.5

🔥 OpenChat-3.5-0106 (7B)现在在所有4个基准测试上都超过了Grok-0 (33B)，并在平均分和3/4的基准测试上超过了Grok-1 (314B)。

python -m ochat.evaluation.run_eval --condition "GPT4 Correct" --model openchat/openchat-3.5-0106 --eval_sets coding fs_cothub/bbh fs_cothub/mmlu zs/agieval zs/bbh_mc_orca zs/truthfulqa_orca
python ochat/evaluation/view_results.py
python ochat/evaluation/convert_to_evalplus.py

docker run -v $(pwd):/app ganler/evalplus:latest --dataset humaneval --samples samples.jsonl

python -m ochat.evaluation.run_eval --condition "Math Correct" --model openchat/openchat-3.5-0106 --eval_sets fs_cothub/gsm8k zs/math
python ochat/evaluation/view_results.py

cd fastchat/llm_judge
python gen_api_answer.py --model openchat-3.5-0106 --max-tokens 4096 --parallel 128 --openai-api-base http://localhost:18888/v1
python gen_judgment.py --model-list openchat-3.5-0106 --parallel 8 --mode single

⬇️ 安装

[!注意] 需要安装pytorch和CUDA来运行OpenChat

pip

pip3 install ochat

[!重要] 如果你在使用pip时遇到包兼容性问题,可以尝试下面的conda方法或查看这个issue

conda

conda create -y --name openchat python=3.11
conda activate openchat

pip3 install ochat

Windows (WSL 1.x, Ubuntu-22.04)

sudo apt update
sudo apt install build-essential

sudo apt install -y curl
curl -o miniconda.sh https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash miniconda.sh

# 如果下面的conda命令不起作用,请重启WSL终端

conda create -y --name openchat python=3.11
conda activate openchat

pip3 install ochat

从源代码安装

git clone https://github.com/imoneoi/openchat
cd openchat

pip3 install --upgrade pip  # 启用PEP 660支持
pip3 install -e .  # 可编辑模式,你可以在这个克隆的仓库中进行修改

🚀 部署API服务器

⚡ 我们的API服务器已经可以用于生产环境,并且兼容OpenAI API协议。它经过高度优化,使用vLLM可以动态批处理请求。

📎 注意:对于20系列或更老的不支持bfloat16的GPU,在服务器参数中添加--dtype float16。

当前支持的模型列表

单GPU (如RTX 3090, 4090)

python -m ochat.serving.openai_api_server --model MODEL_REPO

多GPU (张量并行)

# N是张量并行的GPU数量
python -m ochat.serving.openai_api_server --model MODEL_REPO --engine-use-ray --worker-use-ray --tensor-parallel-size N

使用 -h 查看更多设置

python -m ochat.serving.openai_api_server --model MODEL_REPO -h

请求示例

启动后,服务器在 localhost:18888 监听请求,并兼容OpenAI ChatCompletion API规范。

💡 默认模式 (GPT4 Correct): 最适合编码、聊天和一般任务

curl http://localhost:18888/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MODEL_TYPE",
    "messages": [{"role": "user", "content": "你是一个名为OpenChat的大型语言模型。写一首诗来描述你自己"}]
  }'

🧮 数学推理模式: 专为解决数学问题而设计

curl http://localhost:18888/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MODEL_TYPE",
    "condition": "Math Correct",
    "messages": [{"role": "user", "content": "10.3 − 7988.8133 = "}]
  }'

🌐 Web界面 - OpenChat-UI

启动API服务器后,OpenChat提供了一个易于交互的用户界面。点击此处查看Web界面

🤗 使用Transformers进行推理

[!警告] 建议使用我们优化过的API服务器进行部署。使用Transformers进行推理会更慢。

💡 默认模式 (GPT4 Correct): 最适合编码、聊天和一般任务

GPT4 Correct User: 你好<|end_of_turn|>GPT4 Correct Assistant: 你好<|end_of_turn|>GPT4 Correct User: 今天过得怎么样?<|end_of_turn|>GPT4 Correct Assistant:

🧮 数学推理模式: 专为解决数学问题而设计

Math Correct User: 10.3 − 7988.8133=<|end_of_turn|>Math Correct Assistant:

⚠️ 注意: 记得将<|end_of_turn|>设置为生成结束标记。

默认(GPT4 Correct)模板也可以作为集成的tokenizer.chat_template使用,可以用来替代手动指定模板。

🛠️ 训练

OpenChat训练系统使用无填充训练和Multipack Sampler,相比传统的填充训练达到了3~10倍的加速。

选择基础模型

OpenChat支持Llama 3和Mistral模型。请先选择一个适合你需求的基础模型。每个基础模型都有对应的权重仓库、模型类型和推荐的批量大小,如下所示,它们应该填入后面说明中的BASE_REPO、MODEL_TYPE和BATCH_SIZE。

注意:OpenChat对话模板需要<|eot_id|>, <|start_header_id|>, <|end_header_id|> (Llama 3) <|end_of_turn|> (Mistral)特殊标记。指定的基础模型必须包含这些已初始化嵌入的标记。我们提供的权重是原始基础权重加上这些初始化嵌入的标记。如果你想手动添加它们,请使用scripts目录中的init_special_embedding_llama3.py或mistral_add_tokens.py。

安装DeepSpeed和Flash Attention

首先,确保你的环境中可以使用CUDA nvcc编译器。如果没有,请安装与PyTorch使用的版本匹配的CUDA工具包。

接下来,安装构建依赖:

pip install packaging ninja

最后,安装这些包:

pip install deepspeed flash-attn

准备你的数据

要使用OpenChat训练器,请将你的SFT数据准备成JSON Lines格式,其中每一行对应一个Conversation对象:

class Message(BaseModel):
    role: str     # 必须是"user"或"assistant"
    content: str  # 消息内容
    weight: Optional[float] = None  # 此消息的损失权重。通常用户为0,助手为1,以仅监督助手的回复


class Conversation(BaseModel):
    items: List[Message]  # 对话中的所有消息
    condition: str = ""  # C-RLFT条件,可以是任何字符串或空
    system: str = ""  # 此对话的系统消息

对于基本的SFT,将人类消息的weight设为0,助手回复的设为1。

SFT示例:

{"items":[{"role":"user","content":"你好","weight":0.0},{"role":"assistant","content":"你好","weight":1.0},{"role":"user","content":"今天过得怎么样?","weight":0.0},{"role":"assistant","content":"我很好。","weight":1.0}],"system":""}
{"items":[{"role":"user","content":"你是谁?","weight":0.0},{"role":"assistant","content":"我是OpenChat。","weight":1.0}],"system":"你是一个名为OpenChat的有帮助的助手。"}

对于C-RLFT,condition应设置为对话所属的类(例如GPT3或GPT4)。weight为人类消息设为0,助手回复设为w,其中w是该类的权重(例如,根据我们的C-RLFT论文,GPT3为0.1,GPT4为1)。

C-RLFT示例:

{"items":[{"role":"user","content":"什么是C-RLFT?","weight":0.0},{"role":"assistant","content":"C-RLFT是一种使用混合质量数据改进开源LLM的方法。","weight":1.0}],"condition":"GPT4","system":""}
{"items":[{"role":"user","content":"什么是C-RLFT?","weight":0.0},{"role":"assistant","content":"我不知道。","weight":0.1}],"condition":"GPT3","system":""}

预先标记化数据集

然后你需要使用以下命令预先标记化数据集(请指定一个文件名作为PRETOKENIZED_DATA_OUTPUT_PATH来存储预先标记化的数据集):

python -m ochat.data.generate_dataset --model-type MODEL_TYPE --model-path BASE_REPO --in-files data.jsonl --out-prefix PRETOKENIZED_DATA_OUTPUT_PATH

启动OpenChat训练器

现在您可以使用以下命令启动OpenChat训练器。

• 13B模型需要八张80GB显存的A/H100 GPU
• 7B模型可以用四张80GB显存的A/H100 GPU或八张40GB显存的A/H100 GPU进行训练。

对于超参数，我们建议首先将批量大小设置为推荐的批量大小。如果出现内存不足（OOM）的情况，请尝试将其设置为显存能容纳的最大值，并且是2048的倍数。 其他超参数已经被仔细选择为默认值。此外，学习率是根据反平方根规则自动确定的。

NUM_GPUS=8

deepspeed --num_gpus=$NUM_GPUS --module ochat.training_deepspeed.train \
          --model_path BASE_REPO \
          --data_prefix PRETOKENIZED_DATA_OUTPUT_PATH \
          --save_path PATH_TO_SAVE_MODEL \
          --batch_max_len BATCH_SIZE \
          --epochs 5 \
          --save_every 1 \
          --deepspeed \
          --deepspeed_config ochat/training_deepspeed/deepspeed_config.json

您可以在PATH_TO_SAVE_MODEL中找到所有epoch的检查点。然后您可以评估每个epoch并选择最佳的一个。

局限性

基础模型的局限性：尽管OpenChat具有先进的功能，但它仍然受到其基础模型固有局限性的约束。这些局限性可能会影响模型在以下领域的表现：

• 复杂推理
• 数学和算术任务
• 编程和编码挑战

虚构不存在的信息：OpenChat有时可能会生成不存在或不准确的信息，也称为"幻觉"。用户应该意识到这种可能性，并验证从模型获得的任何关键信息。

安全性：OpenChat有时可能会生成有害、仇恨言论、带有偏见的回应，或回答不安全的问题。在需要安全和受监管回应的使用场景中，应用额外的AI安全措施至关重要。

许可证

代码以Apache License 2.0分发。

引用

@article{wang2023openchat,
  title={OpenChat: Advancing Open-source Language Models with Mixed-Quality Data},
  author={Wang, Guan and Cheng, Sijie and Zhan, Xianyuan and Li, Xiangang and Song, Sen and Liu, Yang},
  journal={arXiv preprint arXiv:2309.11235},
  year={2023}
}

💌联系方式

项目负责人：

• Guan Wang [imonenext at gmail dot com]
• Alpay Ariyak [aariyak at wpi dot edu]

主要贡献者：

• Xianyuan Zhan（清华大学）
• Qiying Yu（清华大学）
• Changling Liu（GPT Desk Pte. Ltd.）
• LDJ
• AutoMeta（Alignment Lab AI）

赞助商：

• Sen Song（清华大学）
• Yang Liu（清华大学）
• 01.AI公司
• RunPod

特别感谢：

• Mistral
• Chain-of-Thought Hub
• Llama 2
• Self-Instruct
• FastChat (Vicuna)
• Alpaca
• StarCoder