Chinese LLM Benchmark: 全面评测中文大语言模型能力
近年来,随着大语言模型技术的快速发展,越来越多的中文大语言模型涌现出来。为了帮助用户更好地了解和选择这些模型,一个名为CLiB(Chinese LLM Benchmark)的评测基准应运而生。这个基准目前已经对115个中文大模型进行了全面评测,涵盖了商用模型和开源模型,为我们提供了一个全面的中文大模型能力排行榜。
CLiB评测基准概述
CLiB评测基准主要包括以下几个方面:
-
评测模型范围广泛:共涵盖115个大模型,包括ChatGPT、GPT-4、百度文心一言、阿里通义千问、讯飞星火等商用模型,以及Llama、InternLM、Qwen等开源模型。
-
多维度能力评测:评测维度包括分类能力、信息抽取能力、阅读理解能力、数据分析能力、中文指令遵从能力、算术能力等。
-
提供详细评分数据:不仅给出了各模型的总分排名,还提供了每个评测维度的详细得分,以及原始的评测数据。
-
持续更新:该基准会定期更新,加入新发布的模型,并对现有模型进行重新评测。
评测结果概览
根据CLiB的最新评测结果,我们可以看到:
-
商用模型方面:
- 高端商用模型中,GPT-4系列、百度文心4.0、讯飞星火4.0 Ultra等表现最为出色。
- 中端商用模型中,百度ERNIE-3.5、Minimax ABAB系列、阿里Qwen系列等表现较好。
- 低价商用模型中,GPT-4-mini、DeepSeek Chat v2等模型性价比较高。
-
开源模型方面:
- 大型开源模型(20B以上)中,Qwen-72B、InternLM-20B等表现较好。
- 中型开源模型(10B-20B)中,Baichuan2-13B、Qwen-14B等表现不俗。
- 小型开源模型(10B以下)中,Gemma-2-9B、GLM-4-9B等模型较为出色。
主要评测维度解析
CLiB基准从多个维度对模型进行了评测,主要包括:
-
分类能力:测试模型对文本进行分类的准确性。
-
信息抽取能力:评估模型从文本中提取关键信息的能力。
-
阅读理解能力:测试模型理解长文本并回答相关问题的水平。
-
数据分析能力:考察模型对结构化数据进行分析和解读的能力。
-
中文指令遵从能力:评估模型按照中文指令完成任务的能力。
-
算术能力:测试模型进行基础数学运算的准确性。
这些维度涵盖了大语言模型在实际应用中的多个关键能力,能够较为全面地反映出模型的整体水平。
开源模型的崛起
值得注意的是,在CLiB的评测结果中,一些开源模型的表现已经可以与商用模型相媲美。例如:
- Qwen-72B-Chat在综合能力上已经接近一些高端商用模型。
- InternLM-20B-Chat在某些维度上甚至超过了部分商用模型。
- 一些小型开源模型如Gemma-2-9B-it、GLM-4-9B-chat等,在10B以下模型中表现出色。
这说明开源社区在大语言模型领域取得了显著进展,为更多研究者和开发者提供了高质量的选择。
CLiB基准的意义与展望
CLiB基准的建立和持续更新,对中文大语言模型的发展具有重要意义:
-
为用户选择模型提供参考:通过全面的评测数据,用户可以根据自己的需求和预算选择合适的模型。
-
推动模型性能提升:评测结果可以帮助模型开发者发现自身的不足,从而有针对性地进行改进。
-
促进行业良性竞争:公开、透明的评测结果有助于营造公平竞争的环境,推动整个行业的进步。
-
为研究提供基础:评测数据可以为大语言模型的研究提供宝贵的实证资料。
未来,CLiB基准还计划进一步扩展评测维度,包括增加数学能力、代码能力、开放域问答、多轮对话等评测项目。同时,也将继续增加新的模型,并对现有模型进行定期重新评测,以反映最新的发展状况。
结语
Chinese LLM Benchmark为我们提供了一个全面了解中文大语言模型能力的窗口。通过这个基准,我们不仅可以看到当前中文大模型的发展现状,也能够预见未来的发展趋势。无论是模型使用者、开发者还是研究人员,都可以从中获得有价值的信息和启示。随着评测基准的不断完善和模型技术的持续进步,我们有理由期待中文大语言模型在各个领域发挥越来越重要的作用。
