OpenLLMetry简介
OpenLLMetry是一套基于OpenTelemetry构建的扩展,为LLM应用提供全面的可观测性能力。它可以轻松地对接现有的可观测性解决方案,如Datadog、Honeycomb等。
主要特点:
- 基于OpenTelemetry标准
- 支持多种LLM提供商和向量数据库
- 易于集成到现有的可观测性堆栈中
- 开源且由Traceloop维护
快速开始
- 安装SDK:
pip install traceloop-sdk
- 在代码中初始化:
from traceloop.sdk import Traceloop
Traceloop.init()
更多详细指南请参考官方文档。
支持的组件
LLM提供商
- OpenAI / Azure OpenAI
- Anthropic
- Cohere
- Mistral AI
- HuggingFace
- AWS Bedrock
- Google Vertex AI / Gemini
- 更多...
向量数据库
- Chroma
- Pinecone
- Qdrant
- Weaviate
- Milvus
- 更多...
框架
- LangChain
- LlamaIndex
- Haystack
- LiteLLM
社区资源
贡献指南
OpenLLMetry欢迎各种形式的贡献,无论大小。具体可以:
- 提交Issue或PR
- 完善文档
- 分享使用经验
详细指南请查看贡献文档。
OpenLLMetry为LLM应用提供了强大而灵活的可观测性方案。无论你是刚接触LLM还是已经在生产环境中使用,OpenLLMetry都能帮助你更好地监控和优化应用。欢迎尝试并加入社区!
