LLMPerf 排行榜 :trophy:

利用 LLMPerf，我们对一系列 LLM 推理提供商进行了基准测试。 我们的分析主要评估它们在以下关键指标下的性能、可靠性和效率：

• 输出令牌吞吐量，代表每秒返回的平均输出令牌数。这一指标对于需要高吞吐量的应用（如摘要和翻译）很重要，并且易于在不同模型和提供商之间进行比较。
• 首个令牌时间（TTFT），代表 LLM 返回第一个令牌所需的时间。TTFT 对于流式应用（如聊天机器人）尤为重要。

LLMPerf 排行榜以清晰、透明的方式展示结果。我们的目标是为用户和开发者提供每个提供商能力和局限性的重要洞察，为未来的集成和部署决策提供信息。为了保持透明度和实用性，我们还在 运行配置 中提供了可复现的步骤，如下所示：

运行配置

对于每次基准测试运行，都使用 LLMPerf 仓库 中的以下命令模板执行：

   python token_benchmark_ray.py \
    --model <MODEL_NAME> \
    --mean-input-tokens 550 \
    --stddev-input-tokens 0 \
    --mean-output-tokens 150 \
    --stddev-output-tokens 0 \
    --max-num-completed-requests 150 \
    --num-concurrent-requests 5 \
    --llm-api <litellm/openai> 

对每个提供商，我们执行：

• 总请求数： 150
• 并发度： 5（向提供商发送 5 个并发请求）
• 提示词令牌长度： 550
• 预期输出长度： 150
• 测试模型： LLama-2 聊天模型的 7B、13B 和 70B 版本

我们在 us-west-2（俄勒冈）区域的 AWS EC2（实例类型：i4i.large）上运行 LLMPerf 客户端。结果截至 2023 年 12 月 19 日太平洋标准时间凌晨 3 点。您可以在 raw_data 文件夹中找到详细结果。

注意事项和免责声明

请注意，可能存在一些潜在的偏差来源或与您感知行为的差异：

• 提供商的后端端点可能差异很大，因此这并不反映软件在特定硬件上的运行情况。
• 结果可能随一天中的时间而变化。
• 结果（如 TTFT 测量）取决于客户端位置，也可能受某些提供商为增加 ITL 而在第一个令牌上延迟的影响。我们当前的测量位置是美国西部（俄勒冈）。
• 结果仅是系统能力的代理，也受现有系统负载和提供商流量的影响。
• 结果可能与用户的工作负载不相关。

输出令牌吞吐量（令牌/秒）

输出令牌吞吐量以每秒返回的平均输出令牌数来衡量。我们通过向每个 LLM 推理提供商发送 150 个请求来收集结果，并根据 150 个请求计算平均输出令牌吞吐量。更高的输出令牌吞吐量表示 LLM 推理提供商的吞吐量更高。

70B 模型

13B 模型

7B 模型

首个令牌时间（秒）

对于流式应用，TTFT 是 LLM 返回第一个令牌所需的时间。

70B 模型

13B模型

* 在数据收集时，Perplexity不提供13B模型。可以在这里找到更多关于提供模型的详细信息。

7B模型

* 在数据收集时，Perplexity不提供Llama-2-7B模型。可以在这里找到更多关于提供模型的详细信息。

* 在数据收集时，Bedrock不提供Llama-2-7B模型。可以在这里找到更多关于提供模型的详细信息。

反馈

• 请通过此链接提供您的反馈。我们很乐意听取您的意见。
• 对于有兴趣在此仪表板上展示其API的LLM推理服务提供商，请提交一个问题或通过电子邮件与我们联系，以进行进一步沟通（例如设置测试账户等）。