foundation-model-benchmarking-tool

AWS基础模型基准测试工具

FMBench 基础模型 AWS 性能基准测试生成式AI Github 开源项目

FMBench是一个用于基准测试AWS生成式AI服务上基础模型性能的Python工具。它支持在SageMaker、Bedrock、EKS和EC2等平台上评估开源、第三方和专有模型。FMBench可帮助用户比较不同模型和部署选项的性能和准确性,从而优化生成式AI工作负载。

chameleon - 多模态早期融合基础模型的开源实现

AI研究GithubMeta Chameleon可视化工具多模态模型开源项目模型推理

Chameleon是Meta AI开发的多模态早期融合基础模型。项目提供GPU推理实现、浏览器端多模态输入输出查看工具和评估提示。开源内容包括模型代码、权重和数据集，支持多模态AI技术研究与应用。Chameleon能够在文本、图像等多种模态间实现高效融合和理解。

BenchmarkDotNet - 精准高效的.NET性能测试工具

.NETBenchmarkDotNetGithub基准测试工具开源项目性能分析性能基准测试

BenchmarkDotNet是一款功能强大的.NET性能测试工具，能将普通方法转化为基准测试，精确分析性能表现。它操作简单，自动化程度高，提供可靠结果并清晰展示关键数据。支持多种.NET环境、编程语言和操作系统，被广泛应用于.NET Runtime等重要开源项目中。适合开发者进行深入的性能优化和比较分析。

AIF360 - AI模型公平性检测与缓解工具库

AI Fairness 360偏见检测

AI Fairness 360 (AIF360) 是一个开源库，提供全面的技术来检测和缓解机器学习模型中的偏差。该工具包包含各种偏差测试指标及其解释，并提供减轻偏差的算法。AIF360 适用于金融、人力资源管理、医疗和教育等领域，并支持 Python 和 R。用户可通过交互体验、教程和 API 深入了解和应用这些技术。

ChemLLMBench - 化学领域大语言模型能力评估的全面基准

ChemLLMBenchGithubNeurIPS 2023化学基准测试大语言模型开源项目

ChemLLMBench是一个评估大语言模型在化学领域能力的全面基准。该项目包含八个化学任务，从分子结构预测到反应产率预测，并提供详细数据集、评估方法和基线模型。ChemLLMBench为研究人员探索大语言模型在化学应用提供重要参考，其研究成果已被NeurIPS 2023数据集与基准赛道接收，彰显学术影响力。

model - 开源地球AI模型与接口构建数字地球的基石

AI模型Clay Foundation ModelGithubJupyterLab地球开源开源项目

Clay Foundation Model是专为地球科学研究设计的开源AI模型和接口。它可用于气候变化预测、地质分析等领域。项目支持JupyterLab环境，提供快速启动选项，适用于Binder和SageMaker Studio Lab。采用LightningCLI v2进行灵活的模型训练，文档基于Jupyter Book，便于研究人员和开发者共同参与和改进。

fame - 开源恶意软件自动化评估框架

FAMEGithubPython应用开源项目恶意软件分析框架自动化评估

FAME是一个开源的自动化恶意软件评估框架，旨在简化恶意文件分析过程。它能快速确定恶意软件家族，提取配置和IOC，大幅提高分析效率。FAME利用广泛的知识库，实现端到端的自动化分析。该项目基于Python开发，使用flask、celery和MongoDB等技术。FAME是'FAME Automates Malware Evaluation'的递归缩写，为恶意软件分析人员提供了强大的支持工具。

lm-evaluation-harness - 统一测试生成式语言模型的多任务评估框架

GPT-NeoXGithubHugging FaceLanguage Model Evaluation HarnessOpen LLM LeaderboardvLLM开源项目

该项目提供统一框架，用于评估生成式语言模型，通过60多个标准学术基准和数百个子任务实现多样化测试。更新包括新的Open LLM Leaderboard任务、内部重构、基于配置的任务创建、Jinja2提示设计支持等高级配置选项，旨在简化和优化模型评估。支持快速高效推理、商业API、本地模型和基准测试。被广泛应用于机构如NVIDIA、Cohere、BigScience等，也支撑了🤗 Hugging Face的Open LLM Leaderboard。

ann-benchmarks - 开源高维近似最近邻搜索算法基准测试平台

ANN算法Github基准测试开源项目性能比较近邻搜索高维空间

ann-benchmarks是一个开源的高维近似最近邻(ANN)搜索算法评估平台。该项目提供预生成数据集、Docker容器和测试套件,支持对多种ANN算法进行客观的基准测试。目前已包含Annoy、FAISS、NMSLIB等主流算法,并通过性能对比结果和可视化图表展示各算法特性。研究人员和工程师可基于此平台选择适合特定场景的ANN算法,推动相关技术的优化和应用。

ffmpeg-quality-metrics - FFmpeg视频质量多指标评估工具

FFmpegGithubPSNRSSIMVMAF开源项目视频质量评估

FFmpeg Quality Metrics是一个开源的视频质量评估工具,支持PSNR、SSIM、VMAF和VIF等多种指标计算。它可输出逐帧指标、各平面/组件指标及全局统计数据。该工具跨平台兼容,支持Python 3.8+。通过命令行即可对视频进行质量评估,并提供多种可配置选项以满足不同评估需求。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com