continuous-eval是一个开源软件包，旨在为LLM驱动的应用提供全面的数据驱动评估。项目特点包括模块化评估系统，全面的度量指标库，可结合用户反馈进行评估，且支持生成大规模合成数据集以验证应用性能，适用于多种LLM应用场景的定制化评估。

由社区合力打造的LLM模型排行榜，提供交互式仪表板和丰富的性能比较。用户可查看各模型在Chatbot Arena Elo、HellaSwag、HumanEval-Python、LAMBADA等指标上的表现。项目特别关注开源模型的本地部署和商业应用，欢迎各类贡献和修改。

allRank是一个基于PyTorch的框架，旨在简化神经排序学习模型的实验。它提供多种损失函数和评分函数，并支持常用评估指标如NDCG和MRR。该框架支持添加自定义损失和配置模型与训练流程，适用于研究和工业应用。同时支持GPU和CPU架构，并集成了Google云存储功能。

本项目汇总了RGB-D语义分割领域的最新研究成果,提供详尽的论文列表和性能对比。涵盖NYUDv2等主流数据集的基准结果,包括像素精度、平均精度、mIoU等关键指标。通过定期更新反映该领域最新进展,为计算机视觉研究人员提供全面的参考资源。项目内容还包括数据集介绍、评估指标说明和详细的性能对比表格,全面呈现RGB-D语义分割技术的发展脉络。对于想深入了解该领域的研究人员和工程师而言,这是一个高价值的信息聚合平台。

该资源库汇集了视觉生成评估领域的各种方法。内容涵盖图像和视频生成模型评估、样本质量评估及用户控制一致性评估等多个方面。项目详细介绍了Inception Score、Fréchet Inception Distance等经典指标及最新评估方法。同时收录了视觉生成改进研究和其他相关资源,为该领域研究者提供全面参考。

CharacterEval是一个评估中文角色扮演对话代理(RPCAs)的基准。它包含1,785个多轮对话和23,020个样例，涵盖77个源自中国文学作品的角色。该基准采用四个维度的十三项指标进行评估，并开发了基于人工标注的角色奖励模型(CharacterRM)。实验显示，CharacterRM与人类评估的相关性显著高于GPT-4。

本文综述了视频扩散模型领域的研究进展和开源资源。内容包括最新工具箱、基础模型、数据集和评估指标,涵盖文本到视频生成、视频编辑和理解等多个方向。文章系统梳理了该领域的关键技术和资源,为研究人员和开发者提供全面参考,有助于推动视频生成和处理技术的发展。

seed-tts-eval是一个开源项目，提供评估零样本语音生成能力的客观测试集。该测试集包含英语和中文公开语料库样本，并配备计算词错误率和说话人相似度的脚本。这套工具主要用于评估语音合成模型在跨语言和零样本场景下的性能。项目采用Common Voice和DiDiSpeech-2数据集，包含3000个测试样本。评估指标包括使用Whisper和Paraformer模型的词错误率，以及基于WavLM的说话人相似度。这些工具有助于客观评估语音合成技术的进展。

PySODEvalToolkit是一个Python工具包,用于评估图像灰度和二值分割算法的性能。它提供多种评估指标如MAE、F-measure和E-measure,适用于显著性目标检测和伪装目标检测等任务。该工具支持批量评估多个数据集和方法,可生成PR曲线等可视化结果,并具备多线程加速和结果导出功能。PySODEvalToolkit为研究人员提供了全面而高效的图像分割评估解决方案。