medAlpaca：用于医疗问答的微调大型语言模型

项目概述

MedAlpaca在Stanford Alpaca和AlpacaLoRA的基础上进行扩展，提供一套专门针对医疗问答和对话应用进行微调的先进大型语言模型。我们的主要目标是提供一系列开源语言模型，为医疗聊天机器人解决方案的无缝开发铺平道路。

这些模型经过各种医学文本的训练，包括医学闪卡、维基百科和对话数据集等资源。有关使用的数据的更多详细信息，请参阅数据部分。

开始使用

使用conda创建一个新的虚拟环境

conda create -n medalpaca python>=3.9

安装所需的包：

pip install -r requirements.txt

medAlpaca的训练

内存要求

我们对在单个GPU上使用Medical Meadow小数据集（约6000个问答对）对LLaMA 7b进行微调所需的GPU内存以及每个epoch的大致持续时间进行了基准测试：

基于LLaMA训练medAlpaca

如果你有权访问LLaMA或Alpaca的权重，你可以使用以下命令对模型进行微调。只需将<PATH_TO_LLAMA_WEIGHTS>替换为包含LLaMA或Alpaca权重的文件夹。

python medalpaca/train.py \
    --model PATH_TO_LLAMA_WEIGHTS \
    --data_path medical_meadow_small.json \
    --output_dir 'output' \
    --train_in_8bit True \  
    --use_lora True \
    --bf16 True \
    --tf32 False \
    --fp16 False \
    --global_batch_size 128 \
    --per_device_batch_size 8 \

默认情况下，脚本执行混合精度训练。
你可以使用train_in_8bit标志切换8位训练。 虽然8位训练目前仅适用于use_lora True，但你可以在不使用8位训练的情况下使用LoRA。 该脚本还可以用于训练其他模型，如facebook/opt-6.7。

数据

为确保您珍贵的羊驼和羊驼能够茁壮成长，我们精心收集了高质量的生物医学开源数据集，并将它们转化为指令调优格式。我们将这项工作命名为Medical Meadow。Medical Meadow目前包含大约150万个数据点，涵盖各种任务，包括使用OpenAI的gpt-3.5-turbo转化为问答对的公开医疗数据，以及医学领域的一系列成熟NLP任务。请注意，并非所有数据的数量和质量都相同，您可能需要对数据进行子采样以训练自己的模型。我们将持续更新和完善数据集，欢迎大家为Medical Meadow贡献更多的"草料"！

数据概览

数据描述

请参阅DATA_DESCRIPTION.md

基准测试

我们正在对所有模型进行USMLE自我评估基准测试，该测试可在此链接获取。请注意，我们删除了所有包含图像的问题，因为我们的模型不是多模态的。

我们正在不断改进训练过程和评估提示。预计此表格会发生较大变化。

访问模型

访问我们的模型库，查看我们的羊驼模型：https://huggingface.co/medalpaca

显而易见，但在此平台上提供的模型仅用于研究目的，不应在任何医疗保健应用或环境中使用。虽然我们很高兴展示我们的实验模型，但请注意，这些模型尚未经过广泛测试或验证，无法保证其可靠性。我们恳请您在使用这些模型时谨慎行事，并感谢您在我们继续探索和开发这项创新技术时的理解。

论文

@article{han2023medalpaca,
  title={MedAlpaca--An Open-Source Collection of Medical Conversational AI Models and Training Data},
  author={Han, Tianyu and Adams, Lisa C and Papaioannou, Jens-Michalis and Grundmann, Paul and Oberhauser, Tom and L{\"o}ser, Alexander and Truhn, Daniel and Bressem, Keno K},
  journal={arXiv preprint arXiv:2304.08247},
  year={2023}
}