jury

综合性NLP实验评估工具包

Jury是一个全面的NLP实验评估工具包，提供多种自动化指标。它支持多种评估指标的同时计算，可处理多预测/多参考的评估场景。Jury优化了evaluate库的设计，简化了自定义指标的添加。该工具包统一了指标计算的输入结构，支持并发计算，适用于各类NLP项目。

访问官网

Github

文档

论文

介绍相关项目

beyondllm - RAG系统开发与部署的一站式工具包

AI教育BeyondLLMGithubRAG系统大语言模型开源项目

BeyondLLM是一个面向检索增强生成(RAG)系统的综合开发工具包。它集成了自动化流程、可定制评估指标和多种大型语言模型支持，简化RAG系统的实验、评估和部署过程。该工具有助于减少LLM幻觉，提升系统可靠性，支持RAG应用的快速迭代和监控。BeyondLLM兼容Python 3.8-3.11版本，为开发者提供简洁高效的API接口。

julep - 专为构建具备状态管理的AI应用的开源平台

AI应用GithubJulep内存管理多代理框架开源项目状态保持

Julep是一个专为构建具备状态管理的AI应用的开源平台。它支持对话历史、多种语言模型、智能代理工作流及多种集成功能。用户可以通过简单的标志调整对话记忆，并可选择本地或云端部署。平台内置90多种工具，允许开发者轻松切换不同的LLM，并提供丰富的API与SDK文档，便于实现个性化的AI解决方案。

lazypredict - 自动化机器学习模型评估工具

GithubLazy PredictPython库开源项目机器学习模型评估自动化建模

LazyPredict 是一个开源的 Python 库，用于机器学习自动化。它能快速构建和比较多种模型，支持分类和回归任务，无需复杂的参数调优。通过自动训练多个模型并生成性能报告，LazyPredict 帮助识别最适合特定数据集的模型类型，适用于初步评估和基准测试，显著提高了数据科学工作流程的效率。

EasyNLP - 综合性易用的NLP工具包，支持大规模预训练模型

EasyNLPGithubNLP工具包分布式训练多模态预训练模型开源项目知识蒸馏

EasyNLP是一个由阿里巴巴发布的自然语言处理工具包，基于PyTorch架构，支持分布式训练和多种NLP算法。它结合知识蒸馏和少样本学习技术，支持大规模预训练模型的部署，并支持CLIP和DALLE等多模态预训练模型，与阿里云PAI平台无缝集成，提供统一的模型训练和部署框架，广泛应用于多个业务场景。

GradientJ - 后台办公流程自动化的AI平台

AI工具GradientJ后台流程自动化语言模型非结构化数据

GradientJ是一个专注于后台办公自动化的AI平台，利用先进的语言模型技术处理非结构化数据。该平台可处理保单PDF、电子表格和监管文件，实现保险表格自动填写、医疗账单代码提取和客户入职流程简化。GradientJ提供可扩展的自动化解决方案，帮助企业通过软件替代传统人工处理和外包模式，实现高效的业务扩展。

LLM-Tool-Survey - 大型语言模型工具学习调查研究

Github人工智能大语言模型工具学习开源项目综述自然语言处理

该研究系统性调查大型语言模型(LLMs)通过工具学习增强解决复杂问题能力。从工具学习的优势和实现方法两方面全面回顾现有文献,总结基准测试和评估方法,讨论当前挑战和未来方向,为相关研究和开发提供见解。

AutoMLPipeline.jl - Julia机器学习管道构建和优化工具

AutoMLPipelineGithub开源项目机器学习特征工程管道优化集成学习

AutoMLPipeline工具包用简洁表达式构建复杂机器学习管道。它基于Julia宏编程实现符号化处理,便于优化回归和分类模型结构。主要特点包括符号化API、常用库封装、可扩展架构、元集成学习和特征选择。该工具简化了从数据预处理到模型训练的流程,支持多种算法组件。

Leaderboard - 多语言语音识别基准测试平台促进ASR系统评估

Github基准测试开源项目数据集模型评估语音识别

SpeechColab ASR leaderboard是一个开源的语音识别基准平台，集成测试集、模型集和标准化评估流程。平台提供多样化测试数据，涵盖广泛ASR场景，支持商业API和开源模型评估。它简化了ASR系统的基准测试、复现和验证过程，方便研究人员和开发者比较不同系统性能。通过统一的评估标准，该平台有助于推动语音识别技术的持续进步。

FLASK - 细粒度语言模型评估框架

FLASKGithub对齐评估开源项目技能集细粒度分析语言模型评估

FLASK是一个开源的语言模型评估框架，采用细粒度的实例级技能集作为评估指标。该框架提供任务无关的评估协议，包含模型推理、GPT-4评估和结果分析功能。FLASK还具备自动元数据标注能力，可标注领域、技能集和难度级别。项目包含详细使用说明和在线演示，为语言模型评估提供全面解决方案。

TEXTOIR - 开放式意图识别的综合工具包

GithubTEXTOIR开放集分类开源项目意图识别聚类自然语言处理

TEXTOIR是一个专注于开放式意图检测和发现的综合工具包。它集成了最新算法,提供可扩展接口和统一数据设置,便于研究人员进行公平可复现的实验。该项目支持多个基准数据集,持续更新模型和方法,并配有可视化平台。TEXTOIR致力于推动文本开放意图识别领域的研究进展。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com