Logo
Project Icon

ceval

全面评估中文大语言模型能力的基准测试

C-Eval基础模型中文评测多选题学科分类Github开源项目

C-Eval是一个综合性中文基础模型评估套件，涵盖52个学科和4个难度级别的13948道多选题。该项目通过零样本和少样本评估，展示了主流模型在STEM、社会科学和人文学科等领域的表现。C-Eval旨在帮助开发者追踪模型进展并分析其优缺点。研究者可通过官方网站或相关论文获取详细信息，并利用提供的数据和方法评估自己的模型。

访问官网访问官网GithubGithubHuggingfaceHuggingface论文论文
介绍相关项目
YiVal - 助力GenAI工具配置与优化的自动提示工程助手
GenAI应用GithubYiVal开源项目性能评估数据生成自动化提示工程
YiVal致力于为生成型AI应用自动化提示和精确调校，通过先进的数据驱动方法，显著提升应用性能，减少延迟和算力成本。该工具有效应对提示开发和细粒度调节挑战，提供定制化的模型和数据漂移解决方案，保障GenAI应用的长期稳定性。
gte-Qwen2-1.5B-instruct - 先进语言模型在MTEB多任务评估中的优异成绩
GithubHuggingfaceMTEBQwen2句子相似度开源项目模型模型评估自然语言处理
gte-Qwen2-1.5B-instruct模型在多任务基准测试(MTEB)中展现出优秀性能。该模型在分类、检索、聚类等NLP任务上表现突出,涵盖情感分析、句子相似度计算和问答等领域。在准确率、F1分数和MAP等关键指标上,gte-Qwen2-1.5B-instruct均取得了良好成绩,体现了其处理多样化语言任务的能力。
gte-large-zh - 中文语义相似度与检索的卓越表现模型
GithubHuggingfaceMTEBgte-large-zhsentence-transformers开源项目模型自然语言处理语义相似度
gte-large-zh模型在MTEB中文基准测试中表现突出，涵盖句子相似度、文本分类、聚类、重排序和检索等多个任务。该模型在CMNLI和JDReview等数据集上的准确率超过80%，为中文自然语言处理应用提供了稳定的语义理解基础。
dclm - 大型语言模型训练与评估的开源综合框架
DataComp-LMGithub大语言模型开源项目数据处理模型训练评估
DataComp-LM是一个开源的大型语言模型训练和评估框架。它提供了超过300T的CommonCrawl标准语料库、基于open_lm的预训练方案和50多项评估指标。研究人员可利用该框架在411M至7B参数规模下进行数据集构建实验。通过数据集优化，DataComp-LM已显著提升了模型性能，创建了多个跨规模表现优异的高质量数据集。
can-ai-code - 通过人类撰写的面试题测试AI的编程能力
AI codingDockerGithubLLMquantizationtesting suite开源项目
该项目通过人类撰写的面试题测试AI的编程能力，提供多种主流API提供商和CUDA支持的推理脚本，并在基于Docker的沙盒环境中验证Python和NodeJS代码的安全性。用户可以评估提示技巧和采样参数对大语言模型（LLM）编码性能的影响，以及量化对LLM编码性能的衰减影响。项目包括多语言测试套件和来自OpenAI的Python-only测试套件，支持对比分析，并提供了详尽的结果数据和评估脚本。
yet-another-applied-llm-benchmark - 基于真实场景的大语言模型能力评估基准
API密钥Docker容器GithubLLM基准测试开源项目数据流DSL模型评估
yet-another-applied-llm-benchmark是一个评估大语言模型在实际应用场景中表现的基准测试项目。该项目包含近100个源自真实使用情况的测试案例，涵盖代码转换、反编译、SQL生成等多种任务。通过简单的数据流DSL设计测试，项目提供了一个灵活的框架来评估大语言模型的实际能力。这个基准虽不是严格的学术标准，但为开发者提供了衡量大语言模型在日常编程任务中表现的实用方法。
EvalPro - 智能员工评估系统优化绩效管理流程
AI工具EvalPro AIKPI自动化反馈自动化员工绩效评估绩效管理
EvalPro是一款智能员工评估系统，旨在优化绩效管理流程。系统具备自动化KPI建议和评估功能，提供实时反馈和全面绩效总结。通过简化评估流程，EvalPro有效提升工作效率，为企业决策提供数据支持。其直观仪表板和多平台兼容性使组织能便捷获取全面绩效数据，促进员工发展和企业进步。
JudgeLM - 大语言模型开放场景高效评估技术
GithubJudgeLM大语言模型开放式任务开源项目微调模型评估
JudgeLM是一个用于训练和评估大语言模型评判器的开放平台。通过微调技术，该项目实现了对开放场景中大语言模型的高效评估，评判一致性超过人类水平。JudgeLM提供先进的评判器训练和评估代码，能够处理单一回答、多模态模型、多个回答和多轮对话等任务。此外，该平台还集成了分布式多模型服务系统和Web界面，方便用户使用和部署。
LLMBox - 全面的大型语言模型训练与评估框架
GithubLLMBox大语言模型开源项目模型评估训练管道高效推理
LLMBox是一个综合性大型语言模型(LLM)库，集成了统一的训练流程和全面的模型评估功能。该框架旨在提供LLM训练和应用的完整解决方案，其设计注重实用性，在训练和使用过程中体现出高度的灵活性和效率。LLMBox支持多样化的训练策略和数据集，提供丰富的评估方法，并具备高效的推理和量化能力，为LLM的研究和开发提供了强大支持。
sklearn-evaluation - 机器学习模型评估工具
GithubJupyter notebookPythonsklearn-evaluation开源项目机器学习模型评估
sklearn-evaluation是一款简便的机器学习模型评估工具，支持绘制混淆矩阵、特征重要性、精准率-召回率、ROC曲线、肘部曲线和轮廓图等多种图表，并生成HTML格式的评估报告。该工具还可使用本地SQLite数据库进行实验跟踪，分析Jupyter notebook输出，并通过SQL查询notebook数据。兼容Python 3.7及更高版本，适用于Linux、macOS和Windows平台，提供全面的模型评估功能。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号