#中文基准测试

CharacterEval

CharacterEval是一个评估中文角色扮演对话代理(RPCAs)的基准。它包含1,785个多轮对话和23,020个样例，涵盖77个源自中国文学作品的角色。该基准采用四个维度的十三项指标进行评估，并开发了基于人工标注的角色奖励模型(CharacterRM)。实验显示，CharacterRM与人类评估的相关性显著高于GPT-4。

CRUD_RAG

CRUD_RAG是一个全面的中文检索增强生成(RAG)系统评估基准。该项目包含36166个测试样本，覆盖CRUD操作，支持多种评估指标。CRUD_RAG提供原生中文数据集、评估任务和基线模型，并具备一键式评估功能。这一工具可助力研究人员和开发者全面评估和优化中文RAG系统性能，推动中文自然语言处理技术的进步。