Project Icon

deepeval

简化LLM输出评估的开源框架

DeepEval是一款开源的大型语言模型(LLM)输出评估框架。它提供G-Eval、幻觉检测和答案相关性等多种评估指标,支持本地运行。该框架适用于RAG和微调应用,可与LangChain和LlamaIndex等工具集成。DeepEval具备批量评估、自定义指标创建功能,易于集成到CI/CD环境。此外,它还支持对主流LLM基准进行简易评估,并可与Confident AI平台对接,实现持续评估和结果分析。

clearml - ML/DL 开发和生产套件
ClearMLGithubMLOps实验管理开源项目数据管理模型部署
ClearML是一个开源平台,集成了实验管理、MLOps/LLMOps、数据管理、模型服务和报告生成功能。支持云端和本地部署,帮助用户实现AI项目的高效管理和自动化,包括实验记录、数据版本控制、模型部署与监控等。ClearML支持多种机器学习和深度学习框架,并与Jupyter Notebook无缝集成,适合团队协作和远程任务执行,提升AI工作流效率。
EvaluationPapers4ChatGPT - ChatGPT等大型语言模型评估资源库
ChatGPTGithub大语言模型开源项目性能测试自然语言理解评估
EvaluationPapers4ChatGPT项目是一个综合性资源库,专注于评估ChatGPT等大型语言模型的性能。该项目汇集了丰富的数据集、评估论文和检测工具,涵盖自然语言理解、伦理偏见、长文本摘要和推理能力等多个领域。研究人员可借此深入分析ChatGPT的能力范围及其在不同任务中的表现。项目不断更新,反映了语言模型评估领域的最新发展动态。
DALM - 优化AI语言模型的开源自适应工具包
ArceeDALMGithubLlama-2-7b-hfRAG-end2endcontrastive learning开源项目
Arcee开源的领域自适应语言模型工具包(DALM)结合了RAG-e2e架构,实现LLM与向量存储的高效整合。该工具包支持Llama、Falcon和GPT等解码器,适用于特定领域的高级定制。工具包包括数据处理、训练和评估的完整代码库,支持对比学习和高效的检索生成联合训练。
LLM-Kit - 无需编程即可部署和定制多语言模型的工具整合包
GithubWebUIsuqin大模型开发部署开源项目语言模型
LLM-Kit项目通过WebUI整合了多种语言模型工具,实现了无需编程即可配置定制化模型和专业应用。项目支持Windows和Linux操作系统以及多个版本的Python,并提供多种训练和推理功能,包括角色扮演、AI智能体和数据库集成。项目还与众多知名模型和工具库兼容,开发者可以轻松上手并参与贡献,进一步优化和扩展项目功能。
fiddler-auditor - 优化大型语言模型审核的开源工具
AI审核Fiddler AuditorGithubLLM评估NLP模型大型语言模型开源项目
Fiddler Auditor是一款开源工具,专为测试和评估大型语言模型(LLM)和NLP模型而设计。它提供了多项功能,包括通过提示扰动进行红队测试、LangChain集成、自定义评估指标和LLM比较。此工具有助于在模型部署前识别潜在弱点,如幻觉、对抗性响应和信息泄露等问题。Fiddler Auditor旨在为开发团队提供一个高效的解决方案,以增强LLM的安全性和可靠性。
LLM4Decompile - 大型语言模型驱动的二进制代码反编译技术
GithubLLM4Decompile二进制代码反编译大语言模型开源项目源代码
LLM4Decompile是一款创新的开源大型语言模型,专注于二进制代码反编译。该模型能将Linux x86_64二进制文件转换为可读的C源代码,覆盖GCC的O0至O3优化级别。项目提供多个参数规模的模型版本,从1.3B到33B不等。其中,最新的22B-V2版本在HumanEval-Decompile基准测试中实现了63.6%的重新执行率。LLM4Decompile不仅可直接反编译二进制文件,还能优化Ghidra等工具生成的伪代码,为二进制分析和逆向工程领域提供了新的可能性。
dream - 构建多技能AI助手的开源平台
AI助手DeepPavlov DreamDockerGithub多技能生成对话系统开源项目
DeepPavlov Dream是一个开源平台,用于构建多技能生成式AI助手。平台提供多种预配置助手版本,包括轻量级Deepy社交机器人和全功能Dream聊天机器人。支持命令行、HTTP API和Telegram机器人等多种交互方式。开发者可选择本地部署或通过代理使用,并可自定义扩展助手功能。该平台为开发复杂AI助手系统提供了灵活的框架,助力创建个性化的智能对话系统。
EAGLE - 大型语言模型快速解码的新突破
EAGLEGithub大语言模型开源项目快速解码性能维持推理速度
EAGLE项目为大型语言模型提供了一种高效的快速解码方法。通过创新的特征外推技术,EAGLE显著提升了生成效率。其改进版EAGLE-2引入了动态草稿树结构,进一步优化了性能。与传统解码方法相比,EAGLE和EAGLE-2在13B模型上分别实现了3倍和4倍的速度提升。该开源项目不仅提供了多种预训练模型权重,还支持各类LLM架构,并配备了详尽的使用文档和评估工具。
Flow-Judge-v0.1-AWQ - 高效的开源小型模型用于多领域AI评估
Flow-Judge-v0.1GithubHuggingface可定制评估开源项目性能评估模型自然语言处理量化
Flow-Judge-v0.1-AWQ是一个源自Phi-3.5-mini-instruct的开源模型,专为多领域LLM系统评估而设计。尽管体积小巧,这款3.8B模型在多种评分尺度下表现出色,支持定性反馈,并生成结构化评估结果,非常适合需要利用自定义评分标准进行高效低成本评估的开发者和企业。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号