相关项目
SaaSpec
SaaSpec是一个专注于Pay-as-you-go LLM API使用监控的平台。它为软件开发者提供精确的用户token消耗成本追踪功能，支持数据导出为CSV格式并转换为Stripe发票，提高了计费效率。作为LLM API使用指标和token成本追踪的专业工具，SaaSpec目前主要适用于OpenAI模型，为开发者提供全面的API使用监控和计费解决方案，有助于更好地管理和优化LLM API使用。
Andes
Andes作为大型语言模型(LLM)API的市场平台，为开发者提供多样化的AI技术接口。平台涵盖自然语言处理、自动文本生成和翻译等功能，可应用于智能客服、内容创作、多语言沟通等领域。Andes致力于简化AI集成流程，帮助开发者快速将先进的语言模型功能应用到实际项目中，提升应用的智能化水平。
llm-api
LLM-API是一个灵活的大语言模型API框架，支持在多种硬件平台上运行各类LLM模型。通过简单的YAML配置，它能自动下载模型并提供统一的API接口。支持Docker容器和本地运行，兼容Llama、GPT等多种模型。项目还包含Python客户端和LangChain集成，大大简化了LLM的应用开发过程，使其强大功能更易于开发者使用。