Project Icon

jury

综合性NLP实验评估工具包

Jury是一个全面的NLP实验评估工具包,提供多种自动化指标。它支持多种评估指标的同时计算,可处理多预测/多参考的评估场景。Jury优化了evaluate库的设计,简化了自定义指标的添加。该工具包统一了指标计算的输入结构,支持并发计算,适用于各类NLP项目。

GradientJ - 后台办公流程自动化的AI平台
AI工具GradientJ后台流程自动化语言模型非结构化数据
GradientJ是一个专注于后台办公自动化的AI平台,利用先进的语言模型技术处理非结构化数据。该平台可处理保单PDF、电子表格和监管文件,实现保险表格自动填写、医疗账单代码提取和客户入职流程简化。GradientJ提供可扩展的自动化解决方案,帮助企业通过软件替代传统人工处理和外包模式,实现高效的业务扩展。
LLM-Tool-Survey - 大型语言模型工具学习调查研究
Github人工智能大语言模型工具学习开源项目综述自然语言处理
该研究系统性调查大型语言模型(LLMs)通过工具学习增强解决复杂问题能力。从工具学习的优势和实现方法两方面全面回顾现有文献,总结基准测试和评估方法,讨论当前挑战和未来方向,为相关研究和开发提供见解。
Leaderboard - 多语言语音识别基准测试平台 促进ASR系统评估
Github基准测试开源项目数据集模型评估语音识别
SpeechColab ASR leaderboard是一个开源的语音识别基准平台,集成测试集、模型集和标准化评估流程。平台提供多样化测试数据,涵盖广泛ASR场景,支持商业API和开源模型评估。它简化了ASR系统的基准测试、复现和验证过程,方便研究人员和开发者比较不同系统性能。通过统一的评估标准,该平台有助于推动语音识别技术的持续进步。
AutoMLPipeline.jl - Julia机器学习管道构建和优化工具
AutoMLPipelineGithub开源项目机器学习特征工程管道优化集成学习
AutoMLPipeline工具包用简洁表达式构建复杂机器学习管道。它基于Julia宏编程实现符号化处理,便于优化回归和分类模型结构。主要特点包括符号化API、常用库封装、可扩展架构、元集成学习和特征选择。该工具简化了从数据预处理到模型训练的流程,支持多种算法组件。
FLASK - 细粒度语言模型评估框架
FLASKGithub对齐评估开源项目技能集细粒度分析语言模型评估
FLASK是一个开源的语言模型评估框架,采用细粒度的实例级技能集作为评估指标。该框架提供任务无关的评估协议,包含模型推理、GPT-4评估和结果分析功能。FLASK还具备自动元数据标注能力,可标注领域、技能集和难度级别。项目包含详细使用说明和在线演示,为语言模型评估提供全面解决方案。
TEXTOIR - 开放式意图识别的综合工具包
GithubTEXTOIR开放集分类开源项目意图识别聚类自然语言处理
TEXTOIR是一个专注于开放式意图检测和发现的综合工具包。它集成了最新算法,提供可扩展接口和统一数据设置,便于研究人员进行公平可复现的实验。该项目支持多个基准数据集,持续更新模型和方法,并配有可视化平台。TEXTOIR致力于推动文本开放意图识别领域的研究进展。
MeaningBERT - 智能评估句子间语义保留的自动化指标
GithubHuggingfaceMeaningBERT开源项目机器学习模型模型自然语言处理评估指标语义保留
MeaningBERT是一种创新的自动化指标,用于评估句子间的语义保留程度。该工具基于先进的自然语言处理技术,其评估结果与人类判断高度相关。MeaningBERT不仅可用于评估任务,还支持进一步训练和微调。在相同句子和无关句子的测试中,MeaningBERT展现了卓越的表现,凸显了其在语义评估方面的可靠性和准确性。研究人员和开发者可通过HuggingFace平台便捷地使用MeaningBERT进行模型训练或评估工作。
promptfoo - 本地LLM应用测试与评估工具
GithubLLM应用promptfoo基准测试开源项目测试驱动开发自动化红队
提供专业工具集,专为本地测试、评估及红队操作LLM应用设计。支持多种模型和API,确保应用安全可靠,提升评估效率并自动评分输出。适用于CLI、库和CI/CD环境,支持OpenAI、Anthropic等API,完全开源且本地运行,保障数据隐私。
unieval-fact - UniEval:革新自然语言生成的多维度评估方法
GithubHuggingfaceUniEval事实一致性多维度评估开源项目模型自然语言生成预训练评估器
unieval-fact是EMNLP 2022论文提出的预训练评估器,专注于事实一致性检测。该项目旨在统一多维度文本生成评估,弥补自动评估与人工评估的差距。它超越传统相似度指标,为自然语言生成系统提供更全面、细粒度的评估方法,尤其适用于评估先进生成模型的表现。
elliot - 推荐系统评估框架 简化实验流程提高研究可重复性
ELLIOTGithub实验开源项目推荐系统框架评估
Elliot是一个面向研究人员的推荐系统评估框架。它通过配置文件驱动实验流程,涵盖数据加载、模型优化、训练和结果收集。框架支持多种数据分割策略和超参数优化,提供准确性、偏见和公平性等评估指标。Elliot注重实验可重复性,让研究人员能全面控制实验过程,是推荐系统研究的有力工具。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号