configs/model_config.yaml：

my_model:
    model_id: 'my_model'
    load:
        # # HuggingFace模型权重
        config_dir: "path/to/full/model"

        # # 使用Peft加载
        # llama_dir: "path/to/base"
        # lora_dir: "path/to/lora"

        device: 'cuda'          # 仅支持cuda
        precision: 'fp16'       # 

    # 支持transformers.GenerationConfig中的所有参数
    generation_config: 
        max_new_tokens: 512     
        min_new_tokens: 1          
        do_sample: False         

在workers/mymodel.py中：

1. 将模型和分词器加载到CPU

   def load_model_and_tokenizer(self, load_config):
        '''
        参数：
            load_config：`configs/model_config.yaml`中的`load`键
        返回：
            model, tokenizer：均在cpu上
        '''
        hf_model_config = {"pretrained_model_name_or_path": load_config['config_dir'],'trust_remote_code': True, 'low_cpu_mem_usage': True}
        hf_tokenizer_config = {"pretrained_model_name_or_path": load_config['config_dir'], 'padding_side': 'left', 'trust_remote_code': True}
        precision = load_config.get('precision', 'fp16')
        device = load_config.get('device', 'cuda')
   
        if precision == 'fp16':
            hf_model_config.update({"torch_dtype": torch.float16})
   
        model = AutoModelForCausalLM.from_pretrained(**hf_model_config)
        tokenizer = AutoTokenizer.from_pretrained(**hf_tokenizer_config)
   
        model.eval()
        return model, tokenizer # cpu
   

2. 系统提示词

   @property
   def system_prompt(self):
       '''
       预置到每个输入前的提示词。
       '''
       return "你是一个人工智能助手。"
   

3. 指令模板

   @property
   def instruction_template(self):
       '''
       指令输入的模板。必须包含'{instruction}'占位符。
       '''
       return self.system_prompt + '问：{instruction}\n答：'
   

4. 带少样本示例的指令模板

   @property
   def instruction_template_with_fewshot(self,):
       '''
       指令输入的模板。此模板中必须包含'{instruction}'占位符。
       '''
       return self.system_prompt + '{fewshot_examples}问：{instruction}\n答：'  # 必须带有 {instruction} 和 {fewshot_examples} 的占位符
   

5. 每个少样本示例的模板

   @property
   def fewshot_template(self):
       '''
       每个少样本示例的模板。每个少样本示例会被连接并放入上面的`{fewshot_examples}`占位符中。
       此模板中必须包含`{user}`和`{gpt}`占位符。
       '''
       return "问：{user}\n答：{gpt}\n" # 必须带有 {user} 和 {gpt} 的占位符
   

from workers.mymodel import MyModelWorker # 在此处修改
id2worker_class = {
"my_model": MyModelWorker,  # 在此处修改
}

修改 generate_fewshot.sh:

model_id="baichuan-13b-chat"
n_shot=3

test_path=data/CMB-Exam/CMB-test/CMB-test-choice-question-merge.json 
val_path=data/CMB-Exam/CMB-val/CMB-val-merge.json
output_dir=data/fewshot
python ./src/generate_fewshot.py \
--use_cot \                     # 是否使用思维链模板
--n_shot=$n_shot \
--model_id=$model_id \
--output_dir=$output_dir  \
--val_path=$val_path \
--test_path=$test_path 

然后运行：

bash generate_fewshot.sh

generate_answers.sh:

# # 输入文件路径
# data_path='data/CMB-Exam/CMB-test/CMB-test-choice-question-merge.json'   
# data_path='data/CMB-Clin/CMB-Clin-qa.json'                            

task_name='Zero-test-cot'   
port_id=27272

model_id="my_model"                                                      # 与 `configs/model_config.yaml` 中相同 

accelerate launch \
    --gpu_ids='all' \                                                   
    --main_process_port 12345 \                                      
    --config_file ./configs/accelerate_config.yaml  \                   # 加速配置文件路径
    ./src/generate_answers.py \                                         # 主程序
    --model_id=$model_id \                                              # 模型ID
    --use_cot \                                                         # 是否使用思维链模板   
    --use_fewshot \                                                     # 是否使用少样本学习
    --batch_size 3  \                                                                                   
    --input_path=$test_data_path \                                      # 输入路径
    --output_path=./result/${task_name}/${model_id}/answers.json \      # 输出路径
    --model_config_path="./configs/model_config.yaml"                   # 模型配置文件路径

步骤1：生成并提取答案

bash generate_answers.sh

步骤2：对你的答案进行评分

将步骤1中的输出提交到提交页面并下载评分结果。如果您希望公开模型的性能，请将相关结果连同模型名称和所属机构发送至cmedbenchmark@163.com。我们将及时审核并更新。

你是一位专门评估其他语言模型所提供答案质量的AI评估员。你的主要目标是根据答案的流畅度、相关性、完整性和医学专业性来对其进行评分。使用以下量表来评估每个标准：

流畅度：
1：完全破碎且无法阅读的句子片段
2：大部分破碎，只有少数可读的词语
3：中等流畅但词汇有限
4：在表达复杂主题时大致连贯
5：人类水平的流畅度

相关性：
1：与问题完全无关
2：与问题有一些关系，但大部分偏离主题
3：相关，但缺乏重点或关键细节
4：高度相关，涉及问题的主要方面
5：直接相关且精确针对问题

完整性：
1：极度不完整
2：几乎不完整，信息有限
3：中等完整，包含一些信息
4：大致完整，展示了大部分信息
5：完全完整，呈现了所有信息

医学专业性：
1：使用普通语言，没有医学术语
2：具备一些医学知识，但缺乏深入细节
3：清晰地传达中等复杂的医学信息
4：显示出对医学术语的扎实掌握，但在细节上有一些小错误
5：在所有呈现的医学知识中完全正确

你将获得以下信息：
- 一段描述
- 基于描述的对话（可选）
- 基于描述和对话的问题
- 问题的解决方案
- 模型对问题的回答

[描述]
{描述}
[描述结束]

[对话]
{历史}
[对话结束]

[问题]
{问题}
[问题结束]

[解决方案]
{解决方案}
[解决方案结束]

[回答]
{回答}
[回答结束]

请确保以JSON格式提供您的评估结果，并且只提供JSON，对每个提到的标准进行单独评分，如下例所示：
{"流畅度": 3, "相关性": 3, "完整性": 3, "专业性": 3}