giskard

LLM和ML模型的评估和测试框架

Giskard是一个开源的Python库，旨在自动检测AI应用中的性能、偏差和安全问题。支持LLM和传统的ML模型，功能涵盖自动生成评估数据集、评估RAG应用答案、检测幻觉、生成有害内容及敏感信息泄露等问题。Giskard可无缝集成到各种环境中，并提供详细文档和示例代码，适用于各类AI开发者。

访问官网

Github

文档

介绍相关项目

responsible-ai-toolbox - 负责任AI开发与监控的工具集

AI模型FairlearnGithubInterpretMLResponsible AI Toolboxraiwidgets开源项目

Responsible AI Toolbox是一个集合，包含多个工具和库，旨在通过提供模型和数据探索及评估界面，帮助开发者和利益相关者更好地理解和监控AI系统。该工具集包括Responsible AI dashboard、Error Analysis dashboard、Interpretability dashboard、Fairness dashboard等，还涵盖数据处理、数据平衡分析与性别偏见测量等模块。用户可自定义工作流，以优化模型调试和数据驱动决策，确保AI系统的安全性、可靠性和公平性。

fairlearn - AI系统公平性评估与缓解的Python工具

AI公平性FairlearnGithubPython包公平性算法公平性评估开源项目

Fairlearn是一个Python包，帮助开发者评估和缓解AI系统中的不公平问题。它提供缓解算法和模型评估指标，并附有Jupyter笔记本示例。Fairlearn侧重于群体公平性，评估并比较模型对不同群体的影响，提供多种解决不公平问题的策略，使用户在不同AI任务中找到最佳平衡。

TrustLLM - TrustLLM：全面大语言模型可信度研究工具

GithubICML 2024LLMTrustLLM工具包开源项目性能评估

TrustLLM是一款专注于评估大型语言模型（LLMs）可信度的工具包。涵盖八个维度的可信度原则，并在真相、安全、公平、鲁棒性、隐私和机器伦理等方面建立基准。TrustLLM提供便捷的评估工具，可以快速评估16种主流LLMs，帮助开发者提升模型可信度。项目已被ICML 2024接受，并持续更新以包括最新的模型和功能。详情请访问项目网站。

llms_tool - 多功能大语言模型训练测试工具包

GithubHuggingFaceRLHF分布式训练大语言模型开源项目预训练

llms_tool是一个基于HuggingFace的大语言模型工具包，支持多种模型的训练、测试和部署。它提供预训练、指令微调、奖励模型训练和RLHF等功能，支持全参数和低参数量训练。工具包集成WebUI和终端预测界面，以及DeepSpeed分布式训练。涵盖ChatGLM、LLaMA、Bloom等主流模型，提供多种训练方法和量化选项。

ares - 对抗性机器学习研究与评估的开源Python库

ARES 2.0Github图像分类对抗性机器学习开源项目目标检测鲁棒性训练

ARES 2.0是一个基于PyTorch的对抗性机器学习研究库。它专注于评估图像分类和目标检测模型的鲁棒性，并提供防御机制。该库支持多种攻击方法，具备分布式训练和测试能力，同时提供预训练模型。ARES 2.0为机器学习模型的安全性研究提供了全面的工具集。

adversarial-robustness-toolbox - 机器学习安全与对抗性威胁防护库

Adversarial Robustness ToolboxGithubLinux Foundation AI & Data对抗性威胁开源项目机器学习安全模型防御

Adversarial Robustness Toolbox (ART) 是由 Linux Foundation AI & Data Foundation 托管的 Python 库，为开发者和研究人员提供评估和防护机器学习模型的工具，以抵御规避、投毒、提取和推理等对抗性威胁。ART 支持所有流行的机器学习框架（如 TensorFlow、Keras、PyTorch 等），适用于各种数据类型（图像、表格、音频、视频等）和任务（分类、目标检测、语音识别等）。持续开发中，欢迎反馈和贡献。

LlamaGuard-7b - Llama-Guard模型为文本生成提供安全保障

GithubHuggingfaceLlama 2Meta人工智能内容审核开源项目模型法律协议

Llama-Guard基于Llama 2，专注于内容分类以确保文本生成的安全。通过概率评估，识别不安全子类别。该模型使用Anthropic和内部数据集训练，提供强大分类能力，能识别并预防如暴力、仇恨、性内容等不当内容。在Hugging Face可用，须遵循Meta许可证协议。

awesome-azure-openai-llm - 揭示Azure OpenAI与大型语言模型（LLM）的综合功能

API集成Azure OpenAIGithub信息检索大语言模型开源项目语言模型训练

提供Azure OpenAI和大型语言模型（LLM）的综合参考，包括服务与技术的详细比较和专有功能介绍。深入探讨私有网络支持、角色认证和AI内容过滤的优势，非常适合希望全面了解并运用Azure OpenAI整合服务的技术用户。

llmperf - 开源工具评估大语言模型API性能

API测试GithubLLMLLMPerfRay开源项目性能评估

LLMPerf是一个评估大语言模型API性能的开源工具。它通过负载测试和正确性测试来衡量模型的响应延迟、生成吞吐量和输出准确性。该工具支持OpenAI、Anthropic、TogetherAI等主流LLM API,并可扩展适配新API。LLMPerf采用Ray框架处理并发请求,能够模拟实际负载环境。开发者和研究人员可利用LLMPerf便捷地评估和对比不同LLM API的性能表现。

beyondllm - RAG系统开发与部署的一站式工具包

AI教育BeyondLLMGithubRAG系统大语言模型开源项目

BeyondLLM是一个面向检索增强生成(RAG)系统的综合开发工具包。它集成了自动化流程、可定制评估指标和多种大型语言模型支持，简化RAG系统的实验、评估和部署过程。该工具有助于减少LLM幻觉，提升系统可靠性，支持RAG应用的快速迭代和监控。BeyondLLM兼容Python 3.8-3.11版本，为开发者提供简洁高效的API接口。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com