Logo

#模型评估

ollama-grid-search学习资料汇总-自动化评估和比较LLM模型的桌面应用

1 个月前
Cover of ollama-grid-search学习资料汇总-自动化评估和比较LLM模型的桌面应用

Presidio Research: 开发和评估PII检测模型的强大工具箱

2 个月前
Cover of Presidio Research: 开发和评估PII检测模型的强大工具箱

RecSysDatasets: 推荐系统数据集大全

2 个月前
Cover of RecSysDatasets: 推荐系统数据集大全

LLM Comparator: 可视化分析工具助力大语言模型的并排评估

2 个月前
Cover of LLM Comparator: 可视化分析工具助力大语言模型的并排评估

Yet Another Applied LLM Benchmark: 一个实用的大语言模型评测基准

2 个月前
Cover of Yet Another Applied LLM Benchmark: 一个实用的大语言模型评测基准

FiftyOne学习资源汇总 - 用于构建高质量数据集和计算机视觉模型的开源工具

1 个月前
Cover of FiftyOne学习资源汇总 - 用于构建高质量数据集和计算机视觉模型的开源工具

模式分类:机器学习的基础与应用

2 个月前
Cover of 模式分类:机器学习的基础与应用

AutoQuant: R包用于自动化机器学习、预测、模型评估和模型解释

2 个月前
Cover of AutoQuant: R包用于自动化机器学习、预测、模型评估和模型解释

JudgeLM:利用大型语言模型构建可扩展的AI评估系统

2 个月前
Cover of JudgeLM:利用大型语言模型构建可扩展的AI评估系统

GenAI Quick Start PoCs: 加速生成式AI应用开发的开源项目

2 个月前
Cover of GenAI Quick Start PoCs: 加速生成式AI应用开发的开源项目

相关项目

Project Cover
ollama-grid-search
Ollama Grid Search是一款用Rust开发的工具,通过自动化选择和优化LLM模型、提示及推理参数,帮助用户进行组合迭代和结果可视化。适用于本地或远程Ollama服务器,支持多模型和参数的A/B测试,输出推理参数和响应元数据,并支持有限并发和同步推理调用。用户可以下载实验数据(JSON格式)并评估对比不同模型和提示组合。
Project Cover
MotionGPT
MotionGPT是通过微调大型语言模型(LLMs)来实现通用运动生成的开源项目。项目提供详细的安装指南、预训练模型及数据集应用实例,支持高效的文本到动作转换及生成。用户可以轻松实现姿态可视化和SMPL网格渲染。项目页面详细介绍了多种使用场景,适用于各种运动生成需求。
Project Cover
fairness-indicators
Fairness Indicators支持团队评估和改进模型的公平性,适用于二元和多分类模型。通过TensorFlow工具包,可以计算常见的公平性指标,并分析数据集分布及模型性能。该工具能处理大规模数据集,并提供信心区间和多阈值评估功能。Fairness Indicators与TensorFlow Data Validation、TensorFlow Model Analysis和What-If Tool紧密集成,助力优化模型。
Project Cover
causallib
Causallib是一个Python包,提供统一的因果推断方法,灵感来自scikit-learn API,支持复杂机器学习模型的集成。用户可以进行有适应性的模块化因果建模,提供更准确的效果估计。该包还包括评估工具,用于诊断模型表现差异,适用于各种治疗策略和潜在结果预测。研究人员可以使用causallib从现实世界的观察性数据中推断干预措施的因果影响,适用于医疗和社会科学等领域。更多信息请访问causallib文档。
Project Cover
FedScale
FedScale是一个可扩展的开源联邦学习(FL)引擎和基准测试平台,提供高级API用于实现FL算法,并在多种硬件和软件环境中进行大规模部署和评估。FedScale包括大规模的FL基准测试,涵盖图像分类、对象检测、语言建模和语音识别等任务,同时提供数据集真实模拟FL训练环境。用户可以通过简单的安装流程在Linux和MacOS上快速部署,并利用丰富的教程和数据集开展实验。
Project Cover
sklearn-evaluation
sklearn-evaluation是一款简便的机器学习模型评估工具,支持绘制混淆矩阵、特征重要性、精准率-召回率、ROC曲线、肘部曲线和轮廓图等多种图表,并生成HTML格式的评估报告。该工具还可使用本地SQLite数据库进行实验跟踪,分析Jupyter notebook输出,并通过SQL查询notebook数据。兼容Python 3.7及更高版本,适用于Linux、macOS和Windows平台,提供全面的模型评估功能。
Project Cover
pyss3
PySS3是一个用于文本分类的Python库,使用简单且可解释的SS3模型,适合需要清晰了解决策依据的应用场景。PySS3提供了诸如SS3类、实时测试的Live_Test类和评估工具Evaluation类,帮助用户快速开发和优化机器学习模型。直观的API和可视化工具使得用户可以轻松提升模型性能,理解模型决策的原因。
Project Cover
encord-active
Encord Active是一个开源工具包,专为测试、验证和优化模型性能而设计。其功能包括高级错误分析、模型可解释性报告、自然语言数据搜索,以及数据集错误与偏见的检测和修复。支持本地和云端版本,适用于计算机视觉项目的各个阶段。
Project Cover
fiftyone
FiftyOne 是一款提升机器学习工作流的开源工具,通过可视化数据集和解读模型结果来提高效率。用户可用它处理复杂标签、评估模型、探索场景、识别错误模式和注释错误等。安装简便,可通过 pip 安装并运行示例代码快速上手。
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号