CMLM-ZhongJing（中医大语言模型-仲景）

中文 | English

中医大语言模型，灵感来自中国古代杰出医家张仲景的智慧。 该模型旨在阐明中医博大精深之知识，传承古代智慧与现代技术创新，最终为医学领域提供可信赖和专业的工具。然而，目前所有产生的结果仅供参考，应由经验丰富的专业人员提供诊断和治疗结果和建议。

图1. 由Bing画图输出与人类提示相结合生成的CMLM-ZhongJing的Logo。

训练及推理声明

我们开源了针对Qwen1.5-1.8B-Chat模型的微调权重，在一张Tesla T4显卡即可实现高速推理。通过在我们专有医疗数据集上进行多次迭代训练确保模型在中医药领域具备较强理解和生成能力。模型权重可在huggingface 下载。也可使用免费GPU推理。

WebDemo

我们提供了基于Gradio的网页版Demo，网页版Demo提供ZhongJing的单轮和多轮对话功能，现在你可以在本地快速调用ZhongJing进行对话。 克隆代码库后，使用如下命令启动网页版demo：

python WebDemo.py

1.指令数据构建：

目前大多如Alpaca、Belle等工作基于self-instruct思路。self-instruct思路可以很好的调用大语言模型的知识，生成多样和具有创造性的指令，在常规问答场景可以快速构造海量指令实现指令调优。但在一些专业知识容错率较低的领域，比如医疗和法律场景，幻觉输出会导致噪声指令数据从而影响模型的准确性。典型的情况是比如不当的诊断及处方建议甚至影响患者生命，事实性错误的法律条文和法理的引用会造成权益人的败诉。因此，如何快速调用OpenAI API且不牺牲指令数据的专业性成为指令数据构造及标注等场景的重要研究方向。以下将简述我们的初步实验探索。

图2. 人类医生参与的多任务治疗行为分解指令构建策略。

1.1多任务诊疗行为分解instruction指令构建策略

人类在记忆和理解时需要构建各种情景和故事，以隐式编码知识信息。记忆的清晰程度取决于学习的持续过程和丰富程度。穿插学习、间隔练习和多样化学习可以提升知识的巩固程度，由此形成深刻的领域知识理解能力。我们的思路是借鉴人类记忆知识的过程，采用专业表格，借助大语言模型的语言表征能力，严格设置特定的prompt模板，使得模型基于中医妇科方药表格数据生成包括患者治疗故事、诊断分析、诊断治疗预期结果、处方功用、互动故事、患者治疗故事、叙事医学、舌脉象、诊疗方案制定、批判性思维、随访、处方、药物用量、个例研究、真实世界问题、病因病机等15个场景，以促进模型对中医方药数据及诊断思维逻辑的推理能力。

    {
        "instruction": "我对三元汤的全过程很好奇，能否从简介、病历、症状、诊断和治疗，以及结果讨论等方面给我详细介绍？",
        "input": "",
        "output": "三元汤是一种古老的中药处方，最早出现在《保命集》卷下。它由多种中药组成，主要用于治疗产后日久虚劳，脉浮疾等症状。患者为产后日久虚劳，脉浮疾。脉浮疾。根据李女士的病史和症状，我决定使用三元汤来治疗她的病症。我按照处方中的药物组成和用法用量，将柴胡、黄芩、人参、半夏、甘草、川芎、芍药、熟地黄、当归等中药煎煮后，让李女士每天服用两次。在治疗过程中，我还注意了李女士的饮食和休息，让她多吃一些易于消化的食物，保证充足的睡眠和休息。经过一个月的治疗，李女士的症状得到了明显的改善。她的精神状态更加稳定，食欲也有所增加，头晕乏力的症状也减轻了很多。我认为，三元汤的治疗效果主要得益于其中的多种中药的协同作用，能够调节李女士的身体机能，增强体质，提高免疫力。同时，我也注意到，李女士的饮食和休息也对治疗效果有一定的影响。因此，在使用中药治疗疾病时，我们也应该注意患者的全面治疗，包括饮食、休息等方面。"
    }

1.2 中医常识指令数据构建策略

此外，我们还增加了基于中医古籍内容、名词解释、症状近义词、反义词、证候、症状、治法等指令内容，为了形成对照试验，我们对这部分仅仅采用一种指令模板以表征数据，同时这部分数据的数量约为8万条，明显多于上述策略构建的指令数量，以下为指令具体数量及tokens数量信息。

    {
        "instruction": "请回答以下有关于中医疾病名词解释的相关问题：",
        "input": "（肺风）粉刺属于哪个分类？",
        "output": "因肺风、胃热或肝瘀所致。以面及背部见黑头或白头粉刺、丘疹、脓疱、结节、囊肿及疤痕为主要表现的皮肤疾病。"
    }

2.模型效果对比：

我们的测试数据基于真实高水平中医师的医学案例，通常为省级名老中医或国医大师级别的个案报告，以保证一定层面专业性。这样的数据较严格的属于分布外数据（学科分布外与训练数据集分布外，有别于传统训练集和验证集）。通过与文心一言、星火等大语言模型进行初步对比，发现我们的模型在基于300条中医方药数据构建的多样化诊疗分解指令数据集上具备良好的泛化能力，或许初步证实大语言模型与和人类一样，对于多元形式表征的文本内容更有助于学习隐喻的知识及逻辑。