foundation-model-benchmarking-tool

AWS基础模型基准测试工具

FMBench 基础模型 AWS 性能基准测试生成式AI Github 开源项目

FMBench是一个用于基准测试AWS生成式AI服务上基础模型性能的Python工具。它支持在SageMaker、Bedrock、EKS和EC2等平台上评估开源、第三方和专有模型。FMBench可帮助用户比较不同模型和部署选项的性能和准确性,从而优化生成式AI工作负载。

kube-bench - 开源 Kubernetes 集群安全评估工具

CIS基准GithubKuberneteskube-bench安全检查容器安全开源项目

kube-bench 是一个开源的 Kubernetes 安全评估工具，基于 CIS Kubernetes Benchmark 标准执行全面的安全检查。它采用 YAML 配置文件，易于更新和维护。该工具可作为容器在集群内部署，支持多种运行方式，并能自动识别不同版本的 Kubernetes。kube-bench 为管理员提供了一种便捷的方法来评估和增强 Kubernetes 环境的安全性，有助于及时发现潜在的安全风险。

bedrock-access-gateway - 利用OpenAI API轻松接入Amazon Bedrock基础模型

AWS FargateAmazon BedrockBedrock Access GatewayChat Completion APIsGithubOpenAI开源项目

使用OpenAI API和SDK无缝访问多种Amazon Bedrock基础模型，无需更改代码。支持流式响应、模型、聊天完成、工具调用和多模式API，适合测试Amazon Bedrock模型功能的开发者。不支持旧版文本完成API，请使用聊天完成API。

SWE-bench - 基于GitHub问题的语言模型评估

DockerGitHubGithubICLR 2024Princeton NLPSWE-bench开源项目

SWE-bench是一个基准测试平台，用于评估语言模型在解决GitHub问题中的表现。提供代码库和问题描述，模型生成修复补丁。项目支持Docker容器实现高效可重复测试。最新更新包括SWE-agent的引入，提升评估基准表现。支持x86_64和实验性arm64架构，提供多样数据集和模型下载选项。欢迎NLP、机器学习和软件工程领域的贡献和反馈。

genai-quickstart-pocs - Amazon Bedrock生成式AI应用示例集

Amazon BedrockGithubRAG开源项目模型评估生成式AI语言模型

项目展示了多个Amazon Bedrock生成式AI应用实例，包括文档摘要、RAG问答、图像生成等。提供Python和.NET两种实现，并集成Streamlit前端，方便快速验证概念。这些示例为开发者提供了丰富的参考，有助于构建创新AI解决方案。

InfiniteBench - 长文本语言模型评测基准挑战10万词极限

GithubInfiniteBench人工智能基准测试开源项目语言模型长文本评估

InfiniteBench是一个专门评测语言模型超长文本处理能力的基准工具。它设计了12个涵盖真实和合成场景的任务，用于测试模型在10万词以上上下文中的理解和推理能力。该基准不仅有助于推动语言模型技术进步，还为改进LLM应用提供了重要参考。InfiniteBench的多样性和专业性使其成为评估长文本处理能力的有效工具。

phoenix - AI应用开发的全方位观测与评估工具

AI观察平台GithubLLM评估Phoenix开源项目数据可视化

Phoenix是一款开源AI观测平台，为大语言模型应用提供全面的跟踪、评估和实验功能。该平台集成了OpenTelemetry跟踪、LLM性能测试、数据集管理、实验记录和推理分析等特性。Phoenix支持主流AI框架和LLM服务，适用于本地和云端环境，为AI开发人员提供了强大的实验、评估和问题诊断能力。

generative-ai-cdk-constructs - 利用多服务AWS CDK模式构建生成型AI架构

AWS CDKAWS Generative AI CDK ConstructsAWS LambdaAmazon BedrockAmazon SageMakerGithub开源项目

AWS Generative AI CDK Constructs库是一个开源扩展包，提供多服务和架构良好的模式，帮助开发者通过代码定义解决方案，实现可预测和可重复的基础设施。该库基于AWS CDK，涵盖数据摄取管道、问答系统、文档摘要和SageMaker模型部署等多种场景，并遵循最佳实践配置，适用于Python、TypeScript、C#和Go。旨在简化生成型AI解决方案开发流程，帮助快速上手并构建稳定可靠的架构。

promptbench - 大语言模型的评估与理解综合工具包

GithubPrompt EngineeringPromptBench大语言模型对抗性提示开源项目评估

基于Pytorch的Python包，提供评估和理解大语言模型的友好API。支持快速模型性能评估、提示工程、对抗性提示评估和动态评估框架。兼容多种模型（如GPT-4、Llama2、BLIP2）和数据集（如GLUE、SQuAD、VQAv2）。适合研究人员和开发者使用与扩展。

bench_ - 硬件文档自动化AI管理平台

AI工具AI文档管理Bench硬件工程硬件文档自动化跨行业应用

bench_为硬件工程师提供AI文档管理平台，实现文档自动撰写、管理和检索。平台适用于航空航天、制造业和汽车等行业，可自动生成报告、识别合规差距，并支持物理资产记录。通过减少文档工作，bench_助力工程师提升创造力。该平台能无缝集成现有技术栈，为硬件文档自动化提供全面解决方案。

sagify - AWS SageMaker机器学习工作流管理简化工具

AWS SagemakerFastAPIGithubLLMSagify开源项目机器学习

Sagify提供简化的接口，帮助管理AWS SageMaker的机器学习工作流程，让用户专注于构建模型而不是基础设施。其模块化架构包括一个LLM Gateway模块，通过简单的API接口访问多种大语言模型。用户可以轻松部署如稳定扩散模型的大型模型，并使用生成的代码片段进行查询。该项目支持OpenAI和开源模型，并提供详细的安装和部署指南，适合希望简化机器学习流程的用户。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com