Project Icon

checklist

全面评估NLP模型行为的测试框架

CheckList是一个用于全面测试NLP模型的框架,它提供了多种测试类型和工具。主要功能包括生成测试数据、扰动现有数据、创建和运行各类测试等。通过CheckList,研究人员和开发者可以更全面地评估NLP模型的行为表现,识别潜在问题和偏差。该项目包含详细教程和代码示例,支持多语言测试,并可与主流NLP库集成。

evalscope - 综合性大语言模型评估开源工具
EvalScopeGithub可视化大语言模型开源项目模型集成评估框架
EvalScope是一个全面的大语言模型评估框架,集成了多种基准数据集和评估指标。该框架提供模型集成、自动评估和报告生成功能,并支持Arena模式和可视化分析。通过整合OpenCompass和VLMEvalKit评估后端,EvalScope实现了多模态评估能力。此外,它能与ModelScope SWIFT平台无缝对接,支持大模型的端到端开发流程。
personal-security-checklist - 互联网安全实践终极清单
Github个人安全清单开源项目数字安全数据加密网络安全隐私保护
Personal-security-checklist 项目提供全面的个人数字安全清单,涵盖保护在线隐私和安全的关键步骤。包括密码管理、双因素认证、加密通信等详细建议,帮助加强数字生活安全性。项目配有用户友好的网站和API,便于查阅和实施安全措施。这一开源资源适用于普通用户和安全专业人士,有助于提高数字安全意识和实践能力。
OLMo-Eval - 开源语言模型评估框架 多任务性能测试解决方案
AI2-TangoGithubOLMo-Eval任务集开源项目评估管道语言模型评估
OLMo-Eval是一个评估开放语言模型的框架,支持多个NLP任务的评估流程。通过task_sets和示例配置,可以评估多个模型在各种任务上的表现。项目基于ai2-tango和ai2-catwalk构建,提供快速入门指南、标准基准测试和PALOMA项目集成,是一个全面的语言模型评估工具。
BotChat - 创新评估大语言模型多轮对话能力的基准
BotChat BenchmarkGPT-4GithubLLM对话生成开源项目评估
BotChat基准测试通过分析大语言模型生成的对话评估多轮聊天能力。基于MuTual-Test数据集,该项目生成了大规模模型对话数据,并采用单轮评估、BotChat Arena和人类对话对比等方法全面评估主流LLM对话质量。研究发现GPT-4表现最佳,部分小型开源模型在短对话中也有不错表现。这一创新基准为改进LLM对话能力提供了新思路。
evalverse - 开源大语言模型评估工具集
AI研究EvalverseGithubLLM评估开源项目评估报告
Evalverse是一个开源的大语言模型评估工具集,提供统一、标准化的评估解决方案。支持多种评估方法,可无代码进行评估并生成报告。通过子模块扩展评估能力,集成lm-evaluation-harness和FastChat等框架。生成的详细报告包含分数、排名和可视化,便于比较不同模型性能。适用于AI研究人员及LLM领域新手。
cleanlab - 开源工具自动检测和优化机器学习数据集
Githubcleanlab开源项目数据中心AI数据清理机器学习标签错误检测
cleanlab是一款开源的数据中心AI工具包,能够自动检测机器学习数据集中的标签错误、异常值和重复项等问题。该工具适用于图像、文本和表格等各类数据,并支持所有机器学习模型。除了发现数据问题,cleanlab还可以训练更稳健的模型,评估数据质量。基于可靠的理论基础,cleanlab运行高效,操作简便,是优化数据质量和提升模型性能的实用工具。
CLUE - 中文语言理解测评数据集与基准模型排行榜
CLUE benchmarkGithubPaddlePaddle中文语言理解开源项目排行榜深度学习框架
CLUE基准提供全面的中文语言理解数据集、预训练模型、语料库和定期更新的排行榜。涵盖多种任务和难度,支持PaddlePaddle等深度学习框架。通过测试和对比不同模型的表现,推动中文自然语言处理技术的发展。
dclm - 大型语言模型训练与评估的开源综合框架
DataComp-LMGithub大语言模型开源项目数据处理模型训练评估
DataComp-LM是一个开源的大型语言模型训练和评估框架。它提供了超过300T的CommonCrawl标准语料库、基于open_lm的预训练方案和50多项评估指标。研究人员可利用该框架在411M至7B参数规模下进行数据集构建实验。通过数据集优化,DataComp-LM已显著提升了模型性能,创建了多个跨规模表现优异的高质量数据集。
Checkstep - 内容审核平台实现快速检测和移除有害信息
AIAI工具内容审核合规平台自动化
Checkstep提供AI驱动的内容审核服务,支持图像、视频、音频、文本等多种媒体格式的快速检测和移除。平台集成先进AI技术,识别100多种语言内容,检测标准滥用类型和生成式媒体。具备政策管理、合规报告和内容模糊处理功能,帮助企业实现内容审核自动化,提升用户安全和运营效率。Checkstep是您的智能内容审核解决方案。
promptfoo - 本地LLM应用测试与评估工具
GithubLLM应用promptfoo基准测试开源项目测试驱动开发自动化红队
提供专业工具集,专为本地测试、评估及红队操作LLM应用设计。支持多种模型和API,确保应用安全可靠,提升评估效率并自动评分输出。适用于CLI、库和CI/CD环境,支持OpenAI、Anthropic等API,完全开源且本地运行,保障数据隐私。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号