#人工标注

CharacterEval是一个评估中文角色扮演对话代理(RPCAs)的基准。它包含1,785个多轮对话和23,020个样例，涵盖77个源自中国文学作品的角色。该基准采用四个维度的十三项指标进行评估，并开发了基于人工标注的角色奖励模型(CharacterRM)。实验显示，CharacterRM与人类评估的相关性显著高于GPT-4。

OpenContracts是一款开源企业文档分析平台，集成了文档管理、自动布局解析、向量嵌入和微服务分析器架构等功能。该平台提供人工标注界面，并通过LlamaIndex实现复杂的LLM驱动查询，支持大规模文档智能问答。OpenContracts采用标准化架构设计，确保数据可移植性，并具备强大的PDF处理能力，为合同分析和数据提取提供全面解决方案。