codefuse-devops-eval

零样本

一次性测试

🔧 工具学习

⏬ 数据

下载

• 方法1：下载zip文件（你也可以直接在浏览器中打开以下链接）：

  wget https://huggingface.co/datasets/codefuse-admin/devopseval-exam/resolve/main/devopseval-exam.zip
  

  然后解压缩，你可以使用pandas加载数据：

  import os
  import pandas as pd
  
  File_Dir="devopseval-exam"
  test_df=pd.read_csv(os.path.join(File_Dir,"test","UnitTesting.csv"))
  

• 方法2：使用Hugging Face数据集直接加载数据集：

  from datasets import load_dataset
  dataset=load_dataset(r"DevOps-Eval/devopseval-exam",name="UnitTesting")
  
  print(dataset['val'][0])
  # {"id": 1, "question": "单元测试应该覆盖以下哪些方面？", "A": "正常路径", "B": "异常路径", "C": "边界值条件"，"D": 所有以上，"answer": "D", "explanation": ""}  ```
  
  

• 方法3：使用ModelScope数据集直接加载数据集：

  from modelscope.msdatasets import MsDataset
  MsDataset.clone_meta(dataset_work_dir='./xxx', dataset_id='codefuse-ai/devopseval-exam')
  

👀 注意事项

为了方便使用，我们整理了55个子类别对应的类别名处理程序和英文/中文名称。详情请参考category_mapping.json。格式如下：

{
  "UnitTesting.csv": [
    "unit testing",
    "单元测试",
    {"dev": 5, "test": 32}
    "TEST"
  ],
  ...
  "文件名":[
  "英文名称",
  "中文名称",
  "样本数量",
  "超级类别标签（在PLAN、CODE、BUILD、TEST、RELEASE、DEPOLY、OPERATE、MONITOR中选择1个）"
  ]
}

每个子类别由两个部分组成：dev和test。每个子类别的dev集包含5个带有解释的示例，用于少样本评估。test集用于模型评估。test部分的标签也已发布。

以下是"版本控制"的一个dev示例：

id: 4
问题：如何找到Git特定提交中已更改的文件列表？
A: 使用命令 `git diff --name-only SHA`
B: 使用命令 `git log --name-only SHA`
C: 使用命令 `git commit --name-only SHA`
D: 使用命令 `git clone --name-only SHA`
答案: A
解释：
分析原因：
git diff --name-only SHA命令会显示与SHA参数对应的提交中已修改的文件列表。参数--name-only让命令只输出文件名，而忽略其他信息。其它选项中的命令并不能实现此功能。

🔥 AIOps 样例示例

👀 👀 以日志解析和时间序列异常检测为例，以下是AIOps样例的简要展示：

日志解析

id: 0
问题：
以下是一些运行日志
 0 04:21:15,429 WARN Cannot open channel to 2 at election address /10.10.34.12:3888
 1 19:18:56,377 WARN ******* GOODBYE /10.10.34.11:52703 ********
 2 19:13:46,128 WARN ******* GOODBYE /10.10.34.11:52308 ********
 3 19:16:26,268 WARN ******* GOODBYE /10.10.34.11:52502 ********
 4 09:11:16,012 WARN Cannot open channel to 3 at election address /10.10.34.13:3888
 5 16:37:13,837 WARN Cannot open channel to 2 at election address /10.10.34.12:3888
 6 09:09:16,008 WARN Cannot open channel to 3 at election address /10.10.34.13:3888
 7 15:27:03,681 WARN Cannot open channel to 3 at election address /10.10.34.13:3888
日志的前三部分分别是索引、时间戳和日志级别。不考虑这三部分，假设日志中的变量用'<*>'表示，令牌之间用空格分隔。上述日志的具体日志模板是什么？
A: Notification time out: <*> 和 Connection broken for id <*>, my id = <*>, error =
B: Send worker leaving thread 和 Connection broken for id <*>, my id = <*>, error =
C: Received connection request /<*>:<*> 和 Interrupting SendWorker
D: Cannot open channel to <*> at election address /<*>:<*> 和 ******* GOODBYE /<*>:<*> ********
答案: D
解释：日志包含固定模板片段"Cannot open channel to <> at election address /<>:<>"和"****** GOODBYE /<>:<> ********"，这两者都出现在选项D中。同时，其他选项中的模板片段与日志内容不匹配。因此，选项D最符合日志模板。

时间序列异常检测

id: 0
问题：
分析以下时间序列
[50,62,74,84,92,97,99,98,94,87,77,65,265,40,28,17,8,3,0,0,4,10,20,31,43,56,68,79,89,95,99,99,96,91,82,71,59,46,34,22,12,5,1,0,2,7,15,25,37,49]
请识别明显的异常点的索引。异常点通常指显著偏离数据整体趋势的点。
A: 46
B: 0
C: 37
D: 12
答案: D
解释：根据分析，给定时间序列中12点处的值265显著大于周围数据，表现出突增现象。因此，选择选项D是正确的。

🔧 工具学习样例示例

👀 👀 工具学习样例的数据格式与OpenAI的Function Calling兼容。

详情请参考tool_learning_info.md。

🚀 如何评估

如果您需要测试自己的huggingface格式模型，整体步骤如下：

1. 编写模型的加载器函数。
2. 为模型编写context_builder函数。
3. 在配置文件中注册模型。
4. 运行测试脚本。 如果模型在加载后不需要任何特殊处理，且输入不需要转换为特定格式（如chatml格式或其他人机对话格式），可以直接进行第4步启动测试。

1. 编写加载器函数

如果模型在加载后需要额外处理（如调整tokenizer），需要继承src.context_builder.context_builder_family.py中的ModelAndTokenizerLoader类，并重写相应的load_model和load_tokenizer函数。可以参考以下示例：

class QwenModelAndTokenizerLoader(ModelAndTokenizerLoader):
    def __init__(self):
        super().__init__()
        pass
    
    @override
    def load_model(self, model_path: str):
    # 方法实现
        pass
    
    @override
    def load_tokenizer(self, model_path: str):
    # 方法实现
        pass

2. 为模型编写context_builder函数

如果输入需要转换为特定格式（如chatml格式或其他人机对话格式），需要继承src.context_builder.context_builder_family中的ContextBuilder类，并重写make_context函数。该函数用于将输入转换为相应的所需格式。示例如下：

class QwenChatContextBuilder(ContextBuilder):
    def __init__(self):
        super().__init__()
        
    @override
    def make_context(self, model, tokenizer, query: str, system: str = "hello！"):
    # 方法实现
        pass

3. 在配置文件中注册模型

前往conf目录下的model_conf.json文件，注册相应的模型名称以及该模型将使用的loader和context_builder。loader和context_builder只需写第一步和第二步中定义的类名即可。示例如下：

{
  "Qwen-Chat": {
  "loader": "QwenModelAndTokenizerLoader",
  "context_builder": "QwenChatContextBuilder"
  }
}

4. 执行测试脚本

运行以下代码启动测试：

python src/run_eval.py \
--model_path 模型路径 \
--model_name 配置中的模型名称 \
--model_conf_path 模型配置路径 \
--eval_dataset_list all \
--eval_dataset_fp_conf_path 数据集配置路径 \
--eval_dataset_type test \
--data_path 下载的devops_eval_data路径 \
--k_shot 0

👀 👀 具体评估过程请参考 📖 评估教程

🧭 待办事项

• 添加AIOps样例。
• 添加AIOps场景时间序列预测。
• 添加工具学习样例。
• 增加样本数量。
• 添加难度设置为困难的样本。
• 添加英文版样本。
  

🏁 许可证

本项目采用Apache许可证（版本2.0）。

😃 引用

如果您使用了我们的数据集，请引用我们的论文。

即将推出...

🗂 其他

📱 联系我们

✨ Star历史

🤝 友情链接

• Codefuse-ChatBot
  • Codefuse-ChatBot 是一个开源的 AI 智能助手，旨在通过对话式访问工具、知识和平台集成，支持软件开发生命周期。
• Awesome AIGC 教程
  • Awesome AIGC 教程收集了精心筛选的教程和资源，涵盖大型语言模型、AI 绘画和相关领域。