:rocket: Deita资源

:running_man: 如何开始？

安装

  git clone https://github.com/hkust-nlp/deita.git
  cd deita
  pip install -e .

数据样本评分

如果你想评估单个样本回复的质量，可以按以下步骤操作：

from deita.selection.scorer import Llama_Scorer

model_name_or_path = "hkust-nlp/deita-quality-scorer"

scorer = Llama_Scorer(model_name_or_path)

# 示例输入
input_text = "描述带有有用提示的UI的词" # 示例输入
output_text = "用户友好或直观的UI" # 示例输出
quality_score = scorer.infer_quality(input_text, output_text)
print(quality_score)
# 2.0230105920381902

Deita 还支持使用 VLLM 进行更快的推理。如果你想使用 VLLM 进行推理,

pip install vllm

并在初始化评分器时设置 is_vllm = True

scorer = Llama_Scorer(model_name_or_path, is_vllm = True)

要评估数据样本的其他维度,请参考 examples/scoring

Deita 管道

你可以使用 deita 管道通过一行代码和配置对数据集执行各种操作。

• 数据集评分

from deita.pipeline import Pipeline

pipeline = Pipeline("score_pipeline", 
                    data_path = args.data_path,   # sharegpt 格式的 json 文件
                    scorer = args.scorer,   # [mistral, llama]
                    scorer_name_or_path = args.scorer_name_or_path,  # 评分器名称或路径,例如 hkust-nlp/deita-complexity-scorer
                    is_vllm = args.is_vllm,  # 使用 vllm 启动 [True, False]
                    score_type = args.score_type, # [complexity, quality]
                    output_path = args.output_path)  # 输出路径(json 格式)

pipeline.run()

• 获取嵌入

我们使用 Huggingface Accelerate 来提高效率:

from deita.pipeline import Pipeline

embed_pipeline = Pipeline("embed_pipeline", 
                          data_path = args.data_path,   # sharegpt 格式的 json 文件
                          output_path = args.output_path,  # 输出路径(pickle 格式)
                          model_name_or_path = args.model_name_or_path,  # 模型名称或路径,例如 mistralai/Mistral-7B-v0.1
                          max_length = args.max_length,
                          use_flash_attention = args.use_flash_attention,  
                          batch_size_per_device = args.batch_size_per_device,
                          conv_template = args.conv_template,
                          only_answer = args.only_answer,
                          random_shuffle = args.random_shuffle,
                          bfloat16 = True
                          )

embed_pipeline.run()

CUDA_VISIBLE_DEVICES=$GPUIDX accelerate launch \
    --mixed_precision bf16 \
    --num_processes $NUMPROCESS \
    --num_machines 1 \
    examples/pipelines/embed_datasets.py \
    --use_flash_attention true \
    --data_path $DATAPATH \
    --output_path $OUTPUTPATH \
    --batch_size_per_device $BSZ

• 先评分,再多样性感知选择

from deita.pipeline import Pipeline

filter_pipeline = Pipeline("filter_pipeline", 
                          data_path = args.data_path,  # sharegpt 格式的 json 文件
                          other_data_path = args.other_data_path,  # 嵌入文件路径(pickle 格式)
                          threshold = args.threshold,  # 过滤阈值 默认: 0.9 
                          data_size = args.data_size,  # 选择的数据大小
                          chunk_size = args.chunk_size,  # 用于更高效的 GPU 计算 默认: 100000
                          sort_key = args.sort_key,  # 默认: "complexity_scores,quality_scores"
                          output_path = args.output_path,  # json 格式输出路径
                          distance_metric = args.distance_metric,  # 默认: cosine
                          embedding_field = args.embedding_field,  # 默认: embedding
                          is_compression = args.is_compression,  # 默认: False
                          device = args.device  # GPU 序号, 默认: 0
                          )

filter_pipeline.run()

你可以参考 examples/pipelines 获取更多详细信息。文档也将很快推出。

SFT 训练

请参考 examples/train/sft.sh

deepspeed --include localhost:${DEVICES} --master_port 29501 src/deita/alignment/train.py \
    --model_name_or_path ${MODELPATH} \
    --data_path ${DATAPATH} \
    --output_dir ${OUTPUTPATH}/${RUNNAME} \
    --num_train_epochs 6 \
    --per_device_train_batch_size ${BSZPERDEV} \
    --per_device_eval_batch_size 1 \
    --gradient_accumulation_steps ${GRADACC} \
    --eval_steps 50 \
    --save_strategy "no" \
    --save_steps 100 \
    --save_total_limit 10 \
    --learning_rate 2e-5 \
    --warmup_ratio 0.1 \
    --lr_scheduler_type "cosine" \
    --logging_steps 1 \
    --do_eval False \
    --evaluation_strategy "no" \
    --model_max_length 2048 \
    --lazy_preprocess True \
    --conv_template "vicuna_v1.1" \
    --mask_user True \
    --report_to "wandb" \
    --run_name ${RUNNAME} \
    --bf16 True \
    --deepspeed src/deita/ds_configs/deepspeed_config_zero2_no_offload.json

DPO 训练

请参考 examples/train/dpo.sh

deepspeed --include localhost:${DEVICES} --master_port 29502 src/deita/alignment/dpo_train.py \
    --model_name_or_path ${MODELPATH} \
    --json_path ${JSONPATH} \
    --data_split ${DATASPLIT} \
    --output_dir ${OUTPUTPATH}/${RUNNAME} \
    --num_train_epochs ${DPOEPOCH} \
    --beta 0.1 \
    --per_device_train_batch_size ${BSZPERDEV} \
    --per_device_eval_batch_size 1 \
    --gradient_accumulation_steps ${GRADACC} \
    --save_global_steps False \
    --eval_steps 50 \
    --save_strategy "no" \
    --save_steps 500 \
    --save_total_limit 1 \
    --learning_rate 5e-7 \
    --warmup_ratio 0.1 \
    --lr_scheduler_type "linear" \
    --logging_steps 1 \
    --do_eval False \
    --evaluation_strategy "no" \
    --model_max_length 2048 \
    --conv_template "vicuna_v1.1" \
    --report_to "wandb" \
    --run_name ${RUNNAME} \
    --bf16 True \
    --gradient_checkpointing True \
    --deepspeed src/deita/ds_configs/stage3_no_offloading_accelerate.json

评估

• 对于 MT-Bench,请参考 MT-Bench
• 对于 AlpacaEval,请参考 alpaca_eval
• 对于 Open LLM Benchmark,请参考 lm-evaluation-harness 并按照 HuggingFaceH4/open_llm_leaderboard 上的设置进行操作

:muscle: 更多内容?

这是 Deita 项目的预览版本。我们将继续更新,包括

• 发布带有高效实现的数据选择管道
• 更多自动数据选择策略
• 支持命令行界面
• 在线演示

引用

如果你发现这个项目的内容对你有帮助,请按以下方式引用我们的论文:

@inproceedings{
liu2024what,
title={What Makes Good Data for Alignment? A Comprehensive Study of Automatic Data Selection in Instruction Tuning},
author={Wei Liu and Weihao Zeng and Keqing He and Yong Jiang and Junxian He},
booktitle={The Twelfth International Conference on Learning Representations},
year={2024},
url={https://openreview.net/forum?id=BTKAeLqLMw}
}

致谢

对于训练代码,我们使用了 fastchat 的代码模板。