TokenCost: 轻松估算400多种大语言模型的token价格

tokencost

TokenCost:AI开发者的得力助手

在人工智能快速发展的今天,大语言模型(LLM)已经成为许多AI应用的核心。然而,使用这些强大的模型往往伴随着高昂的成本。为了帮助开发者更好地控制成本,AgentOps-AI团队开发了TokenCost这一开源工具,让估算LLM token使用成本变得简单而高效。

TokenCost的主要特点

TokenCost支持400多种主流大语言模型,涵盖了OpenAI、Anthropic、Google等知名AI公司的产品。它的主要特点包括:

广泛的模型支持:从GPT-3.5到Claude 3,从PaLM到Llama,TokenCost几乎涵盖了所有主流LLM。
精确的成本计算:TokenCost可以准确计算输入和输出token的数量,并根据最新的价格信息给出精确的成本估算。
易于集成:TokenCost提供了简单易用的API,可以轻松集成到各种Python项目中。
实时更新:TokenCost团队会及时更新各个模型的最新价格信息,确保成本估算始终准确。
开源透明:作为一个开源项目,TokenCost的代码完全公开,用户可以自由查看和贡献。

TokenCost支持的部分模型

TokenCost的工作原理

TokenCost的核心功能是计算LLM处理文本时使用的token数量,并根据每个模型的价格信息计算成本。以下是TokenCost的基本工作流程:

文本分词:TokenCost使用tiktoken库将输入文本分割成token。
Token计数:对输入和输出的token数量进行精确计数。
价格查询:根据指定的模型名称,从内置的价格数据库中查询相应的价格信息。
成本计算:将token数量与价格相乘,得出最终的成本估算。

如何使用TokenCost

使用TokenCost非常简单,只需几行Python代码即可完成成本估算。以下是一个基本的使用示例:

from tokencost import calculate_prompt_cost, calculate_completion_cost

prompt = "Translate the following English text to French:"
model = "gpt-3.5-turbo"

prompt_cost = calculate_prompt_cost(prompt, model)
print(f"Prompt cost: ${prompt_cost}")

completion = "Traduisez le texte anglais suivant en français :"
completion_cost = calculate_completion_cost(completion, model)
print(f"Completion cost: ${completion_cost}")

这个简单的例子展示了如何计算输入提示(prompt)和输出完成(completion)的成本。TokenCost还提供了更多高级功能,如批量计算、自定义价格等。