helicone标志

🔍 可观察性	🕸️ 代理追踪	💬 提示管理
📊 评估	📚 数据集	🎛️ 微调

文档 • Discord • 路线图 • 更新日志 • 问题报告

Helicone是一站式开源LLM开发者平台

🔌 集成：只需一行代码即可记录您所有的OpenAI、Anthropic、LangChain、Gemini、TogetherAI、LlamaIndex、LiteLLM、OpenRouter等更多请求
📊 观察：检查和调试代理、聊天机器人、文档处理流程等的追踪和会话
📈 分析：跟踪成本、延迟、质量等指标。一行代码即可导出到PostHog以创建自定义仪表板
🎮 游乐场：在我们的UI中快速测试和迭代提示、会话和追踪
🧠 提示管理：使用生产数据版本化和实验提示。您的提示始终在您的控制之下，随时可用。
🔍 评估：使用最新平台自动对追踪或会话进行评估：LastMile或Ragas（更多即将推出）
🎛️ 微调：与我们的微调合作伙伴之一进行微调：OpenPipe或Autonomi（更多即将推出）
🛜 网关：使用我们的网关进行缓存、自定义速率限制、LLM安全等
🛡️ 企业就绪：符合SOC 2和GDPR标准

🎁 慷慨的月度免费计划（每月10万次请求）- 无需信用卡！

快速开始 ⚡️ 只需一行代码

在此处注册以获取您的只写API密钥。

仅更新您代码中的baseURL：

import OpenAI from "openai";

const openai = new OpenAI({
  apiKey: process.env.OPENAI_API_KEY,
  baseURL: `https://oai.helicone.ai/v1/${process.env.HELICONE_API_KEY}`,
});

🎉 大功告成！在Helicone查看您的日志。

此快速开始使用Helicone云服务与OpenAI。对于其他提供商或自托管选项，请参见下文。

免费开始使用

Helicone云服务（推荐）

开始使用Helicone的最快捷和最可靠的方式。在Helicone US或Helicone EU免费开始。您每月的前10万次请求是免费的，之后您将按使用量付费。尝试我们的演示以体验Helicone的功能！

集成： 查看我们支持的集成。

延迟问题： Helicone的云服务部署在Cloudflare workers上，确保对您的API请求增加最低延迟（约10毫秒）。查看我们的延迟基准测试。

使用Helicone自托管开源LLM可观察性

Docker

Helicone易于自托管和更新。要在本地开始，只需使用我们的docker-compose文件。

# 克隆仓库
git clone https://github.com/Helicone/helicone.git
cd docker
cp .env.example .env

# 启动服务
docker compose up

Helm

对于企业工作负载，我们还提供了生产就绪的Helm图表。如需访问，请联系我们：enterprise@helicone.ai。

手动（不推荐）

不推荐手动部署。请使用Docker或Helm。如果您必须手动部署，请按照这里的说明进行操作。

架构

Helicone由五个服务组成：

Web：前端平台（NextJS）
Worker：代理日志记录（Cloudflare Workers）
Jawn：专用服务器，用于收集和提供日志（Express + Tsoa）
Supabase：应用程序数据库和身份验证
ClickHouse：分析数据库
Minio：日志对象存储

LLM可观察性集成

主要集成

集成方式	支持	描述
通用网关	Python, Node.js, Python 包, LangChain JS, LangChain, cURL	适用于各种 LLM 提供商的灵活集成方法
异步日志记录 (OpenLLMetry)	JS/TS, Python	多个 LLM 平台的异步日志记录
OpenAI	JS/TS, Python	-
Azure OpenAI	JS/TS, Python	-
Anthropic	JS/TS, Python	-
Ollama	JS/TS	本地运行和使用大型语言模型
AWS Bedrock	JS/TS	-
Gemini API	JS/TS	-
Gemini Vertex AI	JS/TS	Google Cloud 的 Vertex AI 上的 Gemini 模型
Vercel AI	JS/TS	用于构建 AI 驱动应用的 AI SDK
Anyscale	JS/TS, Python	-
TogetherAI	JS/TS, Python	-
Hyperbolic	JS/TS, Python	高性能 AI 推理平台
Groq	JS/TS, Python	高性能模型
DeepInfra	JS/TS, Python	各种模型的无服务器 AI 推理
OpenRouter	JS/TS, Python	多个 AI 模型的统一 API
LiteLLM	JS/TS, Python	支持多个 LLM 提供商的代理服务器
Fireworks AI	JS/TS, Python	开源 LLM 的快速推理 API

支持的框架

框架	支持	描述
LangChain	JS/TS, Python	-
LlamaIndex	Python	用于构建 LLM 驱动的数据应用的框架
CrewAI	-	用于编排角色扮演 AI 代理的框架
Big-AGI	JS/TS	生成式 AI 套件
ModelFusion	JS/TS	用于将 AI 模型集成到 JavaScript 和 TypeScript 应用程序中的抽象层

其他集成

集成	描述
PostHog	产品分析平台。构建自定义仪表板。
RAGAS	检索增强生成的评估框架
Open WebUI	用于与本地 LLM 交互的 Web 界面
MetaGPT	多代理框架
Open Devin	AI 软件工程师
Mem0 EmbedChain	用于构建 RAG 应用程序的框架
Dify	用于 AI 原生应用程序开发的 LLMOps 平台