ZeroEval

统一评估框架测试语言模型零样本推理

ZeroEval 语言模型评估零样本学习任务性能 AI框架 Github 开源项目

ZeroEval是一个评估语言模型零样本推理能力的统一框架。它通过控制提示、采样和输出解析等因素，在MMLU、GSM等任务上测试指令微调模型的性能。该框架要求模型以JSON格式输出推理过程和答案，并持续扩展评估任务范围。

LLM-eval-survey - 汇集了涵盖自然语言处理、逻辑推理、机器翻译等领域关于大型语言模型（LLMs）的全面评估研究与资源

ChatGPTGithub大型语言模型开源项目自然语言处理论文评估

作为一个独立资源，LLM-eval-survey汇集了关于大型语言模型（LLMs）的全面评估研究与资源。涵盖自然语言处理、逻辑推理、机器翻译等领域，旨在提升对这些先进模型的理解和应用。项目通过多维度的评估方法，助力研究人员和开发者深入探索LLMs的潜力与挑战，推动人工智能技术进步。还定期更新最新研究论文和实用资源，为学术和工业界提供重要信息与工具。

MMBench - 全面评估多模态大模型能力的基准测试

GithubMMBench多模态模型开源项目循环评估视觉语言模型评估基准

MMBench是评估视觉语言模型多模态理解能力的基准测试集。它包含近3000道多项选择题,涵盖20个能力维度,采用循环评估和LLM选项提取等创新方法,提供可靠客观的评估。通过细粒度的能力测试和可重复的评价标准,MMBench为多模态模型开发提供了有价值的反馈。

benchmarks - TensorFlow模型性能评估工具集

CNNGithubPerfZeroTensorFlow基准测试开源项目性能评估

TensorFlow benchmarks 是一个用于评估TensorFlow模型性能的开源工具集。它主要包含PerfZero基准测试框架，同时还保留了不再维护的CNN基准测试脚本。这些工具可用于测试各种神经网络模型的性能，进行跨平台比较，以及优化深度学习应用。对于研究TensorFlow模型性能的开发者，这是一个有价值的资源。

nlg-eval - 自然语言生成多指标评估工具使用指南

BLEUGithubPythonnlg-eval开源项目自然语言生成评估方法

提供全面的自然语言生成（NLG）评估工具，包含BLEU、METEOR、ROUGE、CIDEr等多种无监督指标。文档涵盖安装、设置、验证及使用方法，并支持Python API和命令行使用方式，适用于多种操作系统。

CritiqueLLM - 大型语言模型输出评估的智能批评生成框架

CritiqueLLMGithub人工智能大语言模型开源项目自然语言处理评估

CritiqueLLM是一个用于评估大型语言模型输出的批评生成框架。该项目提供了数据收集、参考评分、无参考评分和配对比较等功能。通过支持逐点评分和成对比较，CritiqueLLM能生成详细的批评信息，为研究人员和开发者提供了全面的评估工具，有助于分析和改进大型语言模型的表现。

uptrain - 开源平台评估优化LLM应用

GithubLLM应用UpTrain开源平台开源项目改进评估

UpTrain是一个专注于评估和优化大型语言模型(LLM)应用的开源平台。它提供全面的工具和功能,用于衡量LLM应用性能、识别问题并持续改进。该平台支持自动化评估、错误分析和性能跟踪,有助于提高LLM应用的质量和可靠性。UpTrain提供多种评估指标和定制选项,适用于各种LLM应用场景。

llm_benchmarks - 大语言模型评估基准集合

GithubLLM人工智能开源项目机器学习自然语言处理语言理解

llm_benchmarks是一个全面的大语言模型评估基准集合,涵盖知识理解、推理能力、多轮对话和内容摘要等方面。该项目包含MMLU、ARC、GLUE等知名数据集,用于测试模型在不同任务中的表现。这一标准化工具为评估大语言模型性能提供了可靠依据,有助于相关技术的发展与应用。

SEED-Bench - 多模态大语言模型评估基准

GithubSEED-Bench人工智能基准测试多模态大语言模型开源项目评估维度

SEED-Bench是一个全面评估多模态大语言模型的基准测试。它包含28K个多项选择题，涵盖34个评估维度，包括文本和图像生成能力。该项目提供SEED-Bench-H、SEED-Bench-2-Plus等多个版本，分别针对不同评估方面。SEED-Bench为研究人员提供了一个客观比较多模态大语言模型性能的工具。

LongBench - 双语长文本理解多任务评估

GithubLongBench多语言大模型开源项目评估长文本理解

LongBench首次为大语言模型的长文本理解能力提供双语、多任务的全面评估基准。它覆盖中文和英文，包含六大类共21种任务，适用于单文档QA、多文档QA、摘要提取、少样本学习、合成任务和代码补全等场景。该项目提供自动化评估方法以降低成本，并涵盖平均长度为5k至15k的测试数据。同时，LongBench-E测试集通过统一采样，分析模型在不同输入长度的性能表现。

chinese-llm-benchmark - 中文大模型性能基准测试与排行榜

CLiBGithub中文大模型开源模型开源项目能力排行评测榜单

项目持续更新,目前已评测113个中文大模型,包括GPT-4、文心一言、通义千问等商用模型和百川、Qwen、GLM等开源模型。评测维度全面,涵盖分类、信息抽取、阅读理解、数据分析、中文编码效率等。提供综合能力和细分能力排行榜,并开放原始评测数据。为选择和研究中文大模型提供客观依据。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com