openllmetry - 开源的LLM应用观测扩展工具

OpenLLMetry 项目介绍

项目概述

OpenLLMetry 是一个开源项目，旨在为大型语言模型（LLM）应用提供全面的可观测性。利用 OpenTelemetry 的优势，OpenLLMetry 可以连接到现有的可观测性解决方案，比如 Datadog、Honeycomb等。这一项目是由 Traceloop 开发和维护的，并采用 Apache 2.0 许可证进行授权使用。

特性与功能

OpenLLMetry 除了包含适用于 LLM 提供商和矢量数据库的标准 OpenTelemetry 仪器外，还提供了一个 Traceloop SDK，以标准化方式输出可融入到可观测性堆栈中的数据。如果用户已经实施了 OpenTelemetry，则可以直接添加我们的任何仪器。

入门指南

使用我们的 SDK 是最简单的入门方式。具体指南请参见我们的文档。

安装 SDK:

pip install traceloop-sdk

代码引入:

from traceloop.sdk import Traceloop

Traceloop.init()

若想立即查看跟踪结果，可以禁用批量发送：

Traceloop.init(disable_batch=True)

支持的目的地

OpenLLMetry 可与多种可观测性平台集成，包括但不限于：

Traceloop
Axiom
Azure Application Insights
Datadog
Dynatrace
Grafana
Highlight
Honeycomb
HyperDX
IBM Instana
KloudMate
New Relic
OpenTelemetry Collector
Service Now Cloud Observability
SigNoz
Sentry
Splunk

有关连接到每个平台的说明，请参见这里。

仪器覆盖范围

OpenLLMetry 不仅可以对 OpenTelemetry 目前覆盖的数据库、API 调用等进行仪器化，还提供了一系列定制扩展，用于仪器化如 OpenAI、Anthropic 等服务，以及如 Chroma、Pinecone 等矢量数据库。

支持的 LLM 服务

OpenAI / Azure OpenAI
Anthropic
Cohere
Ollama
Mistral AI
HuggingFace
Bedrock (AWS)
SageMaker (AWS)
Replicate
Vertex AI (GCP)
Google Generative AI (Gemini)
IBM Watsonx AI
Together AI
Aleph Alpha
Groq

支持的矢量数据库

Chroma
Pinecone
Qdrant
Weaviate
Milvus
Marqo
LanceDB

支持的框架

LangChain
LlamaIndex
Haystack
LiteLLM

社区与支持

OpenLLMetry 欢迎社区贡献，无论大小。有兴趣的用户可以：

通过 Slack 与社区和 Traceloop 团队进行实时讨论。
参与 GitHub Discussions 进行更深入的功能对话。
提交任何在使用 OpenLLMetry 时遇到的错误或问题到 GitHub Issues。
通过 Twitter 快速获得新闻。

特别鸣谢

特别感谢 @patrickdebois 为本库建议的伟大名称！

贡献者

项目的成功离不开所有贡献者的努力。详细贡献者名单请查看这里。