UHGEval

中文大语言模型无约束生成幻觉评估基准

UHGEval 大语言模型幻觉评估中文评估基准 Eval Suite Github 开源项目

UHGEval是一个评估中文大语言模型在无约束生成任务中幻觉现象的基准。该项目基于文本生成和幻觉收集，融合自动标注与人工审核。UHGEval提供判别式、生成式和选择式等多种评估方法。项目还包含Eval Suite评估框架，支持多个幻觉评估基准，可全面评估单个大语言模型的表现。

Eval - 智能编程辅助工具加速软件开发过程

Eval平台为开发者提供AI辅助的结对编程体验，支持多种编程语言和集成开发环境。通过智能代码建议、自动单元测试编写、代码文档生成以及代码解释和分析等功能，显著提高编码效率，加快软件开发进度。该平台致力于优化编程流程，使开发过程更加高效和智能化。

MMVP - 探索多模态大语言模型的视觉局限

GithubInterleaved-MoFMMVP基准测试多模态LLM开源项目视觉模式视觉能力

MMVP基准测试揭示了多模态大语言模型在视觉理解方面的局限。即使是顶尖模型也难以准确完成基本视觉定位任务。项目开发的Interleaved-MoF模型旨在改善这些问题。MMVP还提供了开放的评估工具和数据集，为多模态AI技术的发展做出了贡献。

OPERA - 无需额外训练的多模态大语言模型幻觉缓解技术

GithubOPERA回顾分配策略多模态大语言模型幻觉缓解开源项目过度信任惩罚

OPERA是一种新型多模态大语言模型解码方法,通过引入过度信任惩罚和回顾分配策略缓解幻觉问题。该方法无需额外数据或训练,仅在beam search解码时添加惩罚项和回滚机制,即可改善模型知识聚合模式。实验表明,OPERA在多个模型和评估指标上均显著提升性能,展现出良好的有效性和通用性。这为提高多模态大语言模型在实际应用中的准确性提供了一种低成本解决方案。

LLMs-Planning - 大型语言模型规划与推理能力评估与分析工具

GithubLLM人工智能基准测试开源项目规划评估

LLMs-Planning项目包含PlanBench和大型语言模型规划能力分析两个子项目。PlanBench提供可扩展的基准测试，用于评估大型语言模型在规划和推理变化方面的表现。项目还对大型语言模型的规划能力进行了批判性调查，为自然语言处理和人工智能规划领域的研究者提供了重要参考。

Confident AI - 开源LLM评估平台加速企业AI应用落地优化

AI工具AI评估DeepEvalLLM测试开源工具性能分析

Confident AI作为开源大语言模型评估平台，提供全面LLM测试方案。平台支持多种评估指标和快速单元测试，并具备A/B测试、输出分类和报告功能。这些特性有助于企业优化LLM工作流程，提高投资回报率，加快AI解决方案的市场化进程。Confident AI为企业提供了可靠的工具，以更高效地将LLM应用部署到生产环境。

awesome-LLM-resourses - 中文大语言模型全面资源汇总数据处理到评估应有尽有

GithubLLMRAG大语言模型开源项目微调推理评估

该项目汇总了中文大语言模型(LLM)领域的全面资源，包含数据处理、微调、推理和评估等多个环节的开源工具。资源库涵盖最新LLM技术，并收录RAG系统和AI代理等前沿应用。项目为LLM研究者和开发者提供了丰富的工具和信息，有助于推进相关项目的开发与应用。

guidance - 灵活高效的语言模型编程框架

AI编程GithubGuidance代码生成多模态开源项目语言模型

Guidance是一个创新的语言模型编程框架,通过约束生成和控制流程来优化模型输出。它支持正则表达式、上下文无关文法等约束方式,并能灵活结合条件、循环等控制结构。Guidance可显著提升特定任务的输出质量,同时降低延迟和成本。该框架兼容多种后端,包括Transformers、llama.cpp和OpenAI等,具有广泛的适用性。

Themis - 新一代多功能自然语言生成评价模型，支持个性化和参考无关评估

GithubHuggingfaceThemis多样性开源项目模型灵活性自然语言生成评估性能

Themis是一个8B参数的大型语言模型，设计用于自然语言生成评价，在多样性、评估独立性和灵活性方面表现出色。该模型能够处理问答评价等非常见任务，并支持个性化评估标准，提供详细的分析与解释。在SummEval、Topical-Chat、SFRES等多种NLG任务中，Themis的表现优于包括GPT-4在内的现有模型。详见相关论文中的实验结果和详细信息。

evaluate - 多框架兼容的机器学习评估工具库

EvaluateGithub开源项目指标机器学习模型比较评估

evaluate是一个开源的机器学习评估工具库，支持Numpy、Pandas、PyTorch、TensorFlow和JAX等多种框架。它提供了数十种涵盖自然语言处理和计算机视觉等领域的常用评估指标。用户可以使用evaluate进行模型评估、性能对比和结果报告。该库还支持创建新的评估模块并推送至Hugging Face Hub，便于比较不同指标的输出。evaluate的其他特点包括类型检查、指标卡片和社区指标功能，为研究人员和开发者提供了全面的模型评估支持。

WizardLM-1.0-Uncensored-Llama2-13B-GGUF - 解读WizardLM 1.0推出的GGUF格式模型

Eric HartfordGGUFGithubHuggingfaceWizardLM开源项目模型量化

该项目推出了WizardLM 1.0 Uncensored Llama2 13B的GGUF格式模型。GGUF格式是GGML的替代，由llama.cpp团队于2023年8月开发，具备标记化提升和对特定标记的支持，并包含元数据和可扩展功能。用户可在llama.cpp、text-generation-webui和KoboldCpp等多种平台上使用，实现跨平台的GPU加速和优化。项目细分不同量化参数模型，用户可根据需要利用多种工具便捷下载，并依照指南进行部署。模型在兼容性上表现突出，支持LangChain等多种Python库，提供更多使用选择。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com