Langtrace
LLM应用程序的开源可观测性
LLM应用程序的开源和开放遥测(OTEL)可观测性
Langtrace是一款开源可观测性软件,允许你捕捉、调试和分析所有利用LLM API、向量数据库和基于LLM框架的应用程序的跟踪和指标。
开放遥测支持
Langtrace生成的跟踪符合开放遥测标准(OTEL)。 我们正在为本项目生成的跟踪开发语义约定。你可以在这个仓库中查看当前定义。注意:这是一项正在进行的开发,欢迎您参与并提供反馈。
SDK仓库
入门指南
Langtrace云 ☁️
要使用Langtrace的托管SaaS版本,请按照以下步骤操作:
- 访问这个链接进行注册。
- 注册后创建一个新项目。项目是用于存储应用程序生成的跟踪和指标的容器。如果你只有一个应用程序,创建一个项目就足够了。
- 进入项目生成一个API密钥。
- 在你的应用程序中,安装Langtrace SDK并使用你在步骤3中生成的API密钥进行初始化。
- 安装和设置SDK的代码如下所示:
如果你的应用程序是用typescript/javascript构建的
npm i @langtrase/typescript-sdk
import * as Langtrace from '@langtrase/typescript-sdk' // 必须在任何llm模块导入之前
Langtrace.init({ api_key: <your_api_key> })
或者
import * as Langtrace from '@langtrase/typescript-sdk'; // 必须在任何llm模块导入之前
LangTrace.init(); // LANGTRACE_API_KEY作为环境变量
如果你的应用程序是用python构建的
pip install langtrace-python-sdk
from langtrace_python_sdk import langtrace
langtrace.init(api_key=<your_api_key>)
或者
from langtrace_python_sdk import langtrace
langtrace.init() # LANGTRACE_API_KEY作为环境变量
Langtrace自托管
要在本地运行Langtrace,你需要运行三个服务:
- Next.js应用
- Postgres数据库
- Clickhouse数据库
[!重要] 查看我们的文档以了解各种部署选项和配置。
要求:
- Docker
- Docker Compose
.env文件
随意修改.env
文件以满足你的需求。
启动服务器
docker compose up
应用程序将在http://localhost:3000
可用。
拆除设置
要删除容器和卷
docker compose down -v
-v
标志用于删除卷
支持的集成
Langtrace自动捕捉以下供应商的跟踪信息:
供应商 | 类型 | Typescript SDK | Python SDK |
---|---|---|---|
OpenAI | LLM | :white_check_mark: | :white_check_mark: |
Anthropic | LLM | :white_check_mark: | :white_check_mark: |
Azure OpenAI | LLM | :white_check_mark: | :white_check_mark: |
Cohere | LLM | :white_check_mark: | :white_check_mark: |
Groq | LLM | :white_check_mark: | :white_check_mark: |
Perplexity | LLM | :white_check_mark: | :white_check_mark: |
Gemini | LLM | :x: | :white_check_mark: |
Langchain | 框架 | :x: | :white_check_mark: |
LlamaIndex | 框架 | :white_check_mark: | :white_check_mark: |
Langgraph | 框架 | :x: | :white_check_mark: |
DSPy | 框架 | :x: | :white_check_mark: |
CrewAI | 框架 | :x: | :white_check_mark: |
Ollama | 框架 | :x: | :white_check_mark: |
VertexAI | 框架 | :x: | :white_check_mark: |
Pinecone | 向量数据库 | :white_check_mark: | :white_check_mark: |
ChromaDB | 向量数据库 | :white_check_mark: | :white_check_mark: |
QDrant | 向量数据库 | :white_check_mark: | :white_check_mark: |
Weaviate | 向量数据库 | :white_check_mark: | :white_check_mark: |
PGVector | 向量数据库 | :white_check_mark: | :white_check_mark: (SQLAlchemy) |
Langtrace系统架构
功能请求和问题报告
贡献
我们欢迎为此项目做出的贡献。要开始贡献,请fork这个仓库并开始开发。要参与进来,加入我们的Slack工作区。
Langtrace的Star历史
安全
要报告安全漏洞,请发邮件至security@scale3labs.com。关于安全的更多信息,请阅读这里。
许可证
- Langtrace应用程序(此仓库)根据AGPL 3.0许可证授权。你可以在这里阅读有关此许可证的信息。阅读此许可证。
- Langtrace SDKs根据Apache 2.0许可证授权。你可以在这里阅读有关此许可证的信息。
常见问题解答
1. 我可以自托管并在我自己的云中运行Langtrace吗? 是的,你完全可以这样做。请按照我们文档中的自托管设置说明操作。
2. Langtrace云的定价是多少? 目前,我们对Langtrace云不收费,主要是为了收集反馈,以便继续改进该项目。如果我们决定将其商业化,我们会通知我们的用户。
3. Langtrace的技术栈是什么? Langtrace使用NextJS作为前端和API。它使用PostgresDB作为元数据存储,使用Clickhouse DB存储跨度、指标、日志和跟踪。
4. 我可以为这个项目做贡献吗? 当然可以!我们欢迎开发人员的贡献。通过加入我们的Discord社区早早参与进来。
5. 为这个项目做贡献需要哪些技能? 编程语言:Typescript和Python。 框架知识:NextJS。 数据库:Postgres和Prisma ORM。 加分项:Opentelemetry检测框架,分布式跟踪的经验。