foundation-model-benchmarking-tool

AWS基础模型基准测试工具

FMBench 基础模型 AWS 性能基准测试生成式AI Github 开源项目

FMBench是一个用于基准测试AWS生成式AI服务上基础模型性能的Python工具。它支持在SageMaker、Bedrock、EKS和EC2等平台上评估开源、第三方和专有模型。FMBench可帮助用户比较不同模型和部署选项的性能和准确性,从而优化生成式AI工作负载。

GPU-Benchmarks-on-LLM-Inference - GPU和Apple芯片在LLaMA 3推理性能基准对比

GPUGithubLLaMA基准测试开源项目推理量化

项目对比测试了NVIDIA GPU和Apple芯片在LLaMA 3模型上的推理性能,涵盖从消费级到数据中心级的多种硬件。测试使用llama.cpp,展示了不同量化级别下8B和70B模型的推理速度。结果以表格形式呈现,包括生成速度和提示评估速度。此外,项目提供了编译指南、使用示例、VRAM需求估算和模型困惑度比较,为LLM硬件选型和部署提供全面参考。

generative-ai-on-aws - 在AWS平台上开发和部署生成式AI应用的全面指南

AWSGenerative AIGithub人工智能开源项目模型优化深度学习

这本由AWS专家编写的指南全面介绍了在AWS平台上开发和部署生成式AI应用的过程。内容涵盖从基础知识到高级技术，包括提示工程、大型语言模型、模型优化、微调技术、RLHF、RAG和多模态模型等。本书探讨了如何利用Amazon Bedrock等AWS服务构建先进的生成式AI解决方案，为开发者和企业提供了在AWS上实施生成式AI的实用知识。

FModel - 虚幻引擎游戏资源探索与分析工具

CUE4ParseFModelGithub开源软件开源项目游戏存档探索虚幻引擎

FModel是一款针对虚幻引擎游戏的档案探索工具，采用CUE4Parse作为核心解析库，支持最新的UE4和UE5档案格式。该工具提供直观的用户界面和全面的功能，可用于预览和转换游戏包，帮助分析游戏内部结构。FModel由活跃的开源社区维护，持续更新和完善。

FedML - 跨平台生成式AI和大型语言模型的训练与部署方案

GithubTensorOperaTensorOpera AI分布式训练开源项目生成式AI联邦学习

TensorOpera AI简化了生成式AI和大型语言模型的训练与部署。通过集成的MLOps、调度器和高性能机器学习库，开发者可以在去中心化GPU、多云、边缘服务器和智能手机上经济高效地运行复杂的AI任务。TensorOpera Launch自动配对最经济的GPU资源，消除环境设置和管理难题，支持大规模训练和无服务器部署。TensorOpera Studio和Job Store帮助开发者微调和部署模型，实现高效的跨平台AI工作流。

clean-fid - 准确评估生成模型的标准化指标库

FIDGithubclean-fid图像处理开源项目数据集统计生成模型评估

clean-fid是一个用于评估生成模型的开源工具库,致力于解决FID计算中的不一致问题。通过精确处理图像重采样和压缩等细节,该库确保了不同方法、论文和团队之间FID分数的可比性。clean-fid支持计算FID和KID指标,提供多个常用数据集的预计算统计数据,操作简便。它旨在为生成模型评估提供标准化和可靠的解决方案,提高了评估结果的准确性和可重复性。

chinese-llm-benchmark - 中文大模型性能基准测试与排行榜

CLiBGithub中文大模型开源模型开源项目能力排行评测榜单

项目持续更新,目前已评测113个中文大模型,包括GPT-4、文心一言、通义千问等商用模型和百川、Qwen、GLM等开源模型。评测维度全面,涵盖分类、信息抽取、阅读理解、数据分析、中文编码效率等。提供综合能力和细分能力排行榜,并开放原始评测数据。为选择和研究中文大模型提供客观依据。

FLASK - 细粒度语言模型评估框架

FLASKGithub对齐评估开源项目技能集细粒度分析语言模型评估

FLASK是一个开源的语言模型评估框架，采用细粒度的实例级技能集作为评估指标。该框架提供任务无关的评估协议，包含模型推理、GPT-4评估和结果分析功能。FLASK还具备自动元数据标注能力，可标注领域、技能集和难度级别。项目包含详细使用说明和在线演示，为语言模型评估提供全面解决方案。

data-science-on-aws - 在AWS平台上开展数据科学工作的全面指南，涵盖从数据摄取到模型部署的完整流程

AWSGithubSageMaker开源项目数据科学机器学习自然语言处理

该项目提供在AWS平台上开展数据科学工作的全面指南，涵盖从数据摄取到模型部署的完整流程。内容包括使用Amazon SageMaker构建AI/ML管道、BERT模型文本分类、高级模型训练及实时流分析等。项目特别关注自然语言处理任务，为数据科学家和机器学习工程师展示了AWS云端AI解决方案的实际应用。

PIXIU - 金融大规模语言模型的开发、微调与评估

FinBenFinMAGithubPIXIUThe Fin AI开源项目金融大语言模型

PIXIU 项目专注于开发、微调和评估金融领域中的大规模语言模型（LLMs）。核心组件包括 FinBen 金融语言理解和预测评估基准、FIT 金融指令数据集，以及 FinMA 金融大规模语言模型。项目提供多任务和多模态的金融数据，涵盖股票走势预测等任务，旨在促进开放研究和透明性，提供包括模型、指令调优数据和评估数据集在内的开放资源。

lmms-eval - 大规模多模态模型评估框架加速AI发展

AI基准测试GithubLMMs-eval多模态模型开源项目评估框架

lmms-eval是专为大规模多模态模型(LMMs)设计的评估框架,整合多种基准和数据集,提供一致高效的评估方法。支持图像、视频等多模态任务,简化评估流程,加速模型开发和性能比较。该框架为研究人员提供灵活工具,助力理解和改进LMMs能力,推动人工智能向通用人工智能(AGI)发展。lmms-eval旨在成为加速LMMs发展的重要生态系统组件。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com