热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#LLMPerf
llmperf-leaderboard
LLMPerf Leaderboard 项目对多家LLM推理服务进行性能评测,主要衡量输出令牌吞吐量和首个令牌响应时间(TTFT)。测试涵盖Llama-2系列的7B、13B和70B聊天模型,为开发者提供客观透明的性能数据和可复现的测试方法,有助于选择合适的LLM服务。
llmperf
LLMPerf是一个评估大语言模型API性能的开源工具。它通过负载测试和正确性测试来衡量模型的响应延迟、生成吞吐量和输出准确性。该工具支持OpenAI、Anthropic、TogetherAI等主流LLM API,并可扩展适配新API。LLMPerf采用Ray框架处理并发请求,能够模拟实际负载环境。开发者和研究人员可利用LLMPerf便捷地评估和对比不同LLM API的性能表现。
相关文章
LLMPerf:开源的LLM性能基准测试工具
2 个月前
LLMPerf 基准测试排行榜:评估大语言模型推理性能
2 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号