Project Icon

ToolQA

评估工具增强型大语言模型的开源数据集

ToolQA是一个开源数据集,专门用于评估工具增强型大语言模型。数据集涵盖8个领域,包含需要综合使用多个工具解答的问题,分为简单和困难两个级别。ToolQA通过人机协作创建,提供了数据统计、下载链接、工具实现和基准代码,为研究人员评估和改进大语言模型的外部工具使用能力提供全面资源。

MixEval - 动态更新的大语言模型评测基准
GithubLLM评估MixEval动态评估基准测试开源项目模型排名
MixEval是一个动态更新的大语言模型评测基准,结合现有基准和真实用户查询构建而成。该基准在保持高准确度的同时,实现了快速、低成本和可重复的评测。MixEval提供更全面、公平的查询分布,并通过定期更新机制避免数据污染。作为一个高效可靠的评测工具,MixEval适用于各类大语言模型研究和应用场景。
ceval - 全面评估中文大语言模型能力的基准测试
C-EvalGithub中文评测基础模型多选题学科分类开源项目
C-Eval是一个综合性中文基础模型评估套件,涵盖52个学科和4个难度级别的13948道多选题。该项目通过零样本和少样本评估,展示了主流模型在STEM、社会科学和人文学科等领域的表现。C-Eval旨在帮助开发者追踪模型进展并分析其优缺点。研究者可通过官方网站或相关论文获取详细信息,并利用提供的数据和方法评估自己的模型。
LLM-Kit - 无需编程即可部署和定制多语言模型的工具整合包
GithubWebUIsuqin大模型开发部署开源项目语言模型
LLM-Kit项目通过WebUI整合了多种语言模型工具,实现了无需编程即可配置定制化模型和专业应用。项目支持Windows和Linux操作系统以及多个版本的Python,并提供多种训练和推理功能,包括角色扮演、AI智能体和数据库集成。项目还与众多知名模型和工具库兼容,开发者可以轻松上手并参与贡献,进一步优化和扩展项目功能。
chatgpt-comparison-detection - 双语人类与ChatGPT对比语料集及检测工具
ChatGPTGithubHC3开源开源项目检测器语料集
HC3项目推出了首个Human vs. ChatGPT对比语料集,提供多个版本的ChatGPT检测器。项目通过开源模型工具高效检测ChatGPT生成内容,并收集中英双语问答语料助力学术研究。HC3数据集已在Huggingface和ModelScope发布,检测器包括问答版、独立文本版和语言学版,支持中英文检测。
MMBench - 全面评估多模态大模型能力的基准测试
GithubMMBench多模态模型开源项目循环评估视觉语言模型评估基准
MMBench是评估视觉语言模型多模态理解能力的基准测试集。它包含近3000道多项选择题,涵盖20个能力维度,采用循环评估和LLM选项提取等创新方法,提供可靠客观的评估。通过细粒度的能力测试和可重复的评价标准,MMBench为多模态模型开发提供了有价值的反馈。
Teste.ai - 人工智能软件测试平台 提高测试效率与质量
AI工具teste.ai人工智能测试工具测试自动化软件质量
Teste.ai是一个基于人工智能的软件测试平台,提供多种智能工具以提升测试效率。平台可根据需求快速生成测试用例、场景和计划,支持测试数据生成和SQL查询构建。覆盖API、功能、安全和性能等多种测试类型,旨在全面提高测试效率和软件质量。Teste.ai利用先进的AI技术,为测试人员提供强大的自动化支持,帮助更快更好地完成测试工作。
generative-qa-model - 简述AI问答模型的生成式技术
GithubHuggingfacetransformers开源项目模型模型卡模型说明环境影响训练细节
该生成式问答模型基于transformers库,提供开发背景、用途、训练方案及评价标准的信息,帮助了解使用方法并识别潜在风险和局限性。
auto-j - 开源大语言模型评估工具
Auto-JGithub大语言模型对齐评估开源开源项目生成式评判
Auto-J是一款开源的大语言模型评估工具,可评估模型与人类偏好的对齐程度。该工具覆盖58个真实场景,支持成对响应比较和单一响应评估,并提供详细的自然语言评论。Auto-J具有通用性强、灵活性高、可解释性好等特点,在多项评估任务中表现优异,为大语言模型的对齐研究提供支持。
chatgpt-tool-hub - 开源工具生态系统为大语言模型增强实用功能
ChatGPTGithubLLM人机交互工具引擎开源项目插件
chatgpt-tool-hub是一个开源的大语言模型工具生态系统,提供联网、搜索、数学运算、控制电脑和执行代码等多种实用功能。用户可通过自然语言命令调用这些工具,提高生产力。该项目支持中英文交互、上下文记忆和多工具自动调用,旨在创建一个开放、灵活的人工智能助手平台,适配未来多样化的大语言模型需求。
MedQuAD - 涵盖多类医学问题的大规模问答数据集
GithubMedQuADNIH网站UMLS医疗问答数据集开源项目问答系统
MedQuAD是一个包含47,457对医学问答的大规模数据集,源自12个美国国立卫生研究院(NIH)网站。它涵盖37种问题类型,涉及疾病、药物和其他医疗实体,并附有丰富的语义注释。此外,MedQuAD提供2,479个经人工评判的答案作为QA测试集,可用于评估信息检索和问答系统的性能。这一资源为医学自然语言处理和问答系统研究提供了重要支持。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号