AI 代理很糟糕。我们正在修复它。
🐦 Twitter • 📢 Discord • 🖇️ AgentOps • 📙 文档
AgentOps 🖇️
AgentOps 帮助开发者构建、评估和监控 AI 代理。从原型到生产的代理构建工具。
📊 回放分析与调试 | 分步代理执行图 |
💸 LLM 成本管理 | 跟踪与 LLM 基础模型提供商的支出 |
🧪 代理基准测试 | 针对 1,000 多个评估测试您的代理 |
🔐 合规与安全 | 检测常见的提示注入和数据泄露攻击 |
🤝 框架集成 | 与 CrewAI、AutoGen 和 LangChain 的原生集成 |
快速开始 ⌨️
pip install agentops
用三行代码进行会话回放
初始化 AgentOps 客户端并自动获取每次 LLM 调用的分析数据。
import agentops
# 程序代码的开始 (如 main.py, __init__.py)
agentops.init( < 在此插入您的 API 密钥 >)
...
# (可选: 记录特定功能)
@agentops.record_action('记录的示例函数')
def sample_function(...):
...
# 程序结束
agentops.end_session('成功')
# 哇哦,你完成了 🎉
您所有的会话都可以在 AgentOps 仪表板上查看。详细说明请参阅我们的 API 文档。
集成 🦾
CrewAI 🛶
仅需两行代码即可为 Crew 代理构建可观测性。只需在您的环境中设置 AGENTOPS_API_KEY
,您的团队就会在 AgentOps 仪表板上自动获得监控。
AgentOps 与 CrewAI 集成在一个预发布的分支上。安装 Crew:
pip install git+https://github.com/AgentOps-AI/crewAI.git@main
AutoGen 🤖
仅需两行代码,即可为 Autogen 代理添加完全的可观测性和监控。在您的环境中设置 AGENTOPS_API_KEY
并调用 agentops.init()
。
Langchain 🦜🔗
AgentOps 可以无缝集成到使用 Langchain 构建的应用程序中。要使用处理程序,请将 Langchain 作为可选依赖项安装:
安装
pip install agentops[langchain]
要使用处理程序,导入并设置:
import os
from langchain.chat_models import ChatOpenAI
from langchain.agents import initialize_agent, AgentType
from agentops.partners.langchain_callback_handler import LangchainCallbackHandler
AGENTOPS_API_KEY = os.environ['AGENTOPS_API_KEY']
handler = LangchainCallbackHandler(api_key=AGENTOPS_API_KEY, tags=['Langchain 示例'])
llm = ChatOpenAI(openai_api_key=OPENAI_API_KEY,
callbacks=[handler],
model='gpt-3.5-turbo')
agent = initialize_agent(tools,
llm,
agent=AgentType.CHAT_ZERO_SHOT_REACT_DESCRIPTION,
verbose=True,
callbacks=[handler], # 您必须传递回调处理程序来记录您的代理
handle_parsing_errors=True)
请参阅 Langchain 示例笔记本 了解更多详细信息,包括异步处理程序。
Cohere ⌨️
Cohere(>=5.4.0)的一流支持。如果您需要任何新增功能,请在 Discord 上联系我们!
安装
pip install cohere
import cohere
import agentops
# 程序代码的开始 (如 main.py, __init__.py)
agentops.init(<在此插入您的 API 密钥>)
co = cohere.Client()
chat = co.chat(
message="Cohere 和 AgentOps 之间的协同效应是什么?"
)
print(chat)
agentops.end_session('成功')
import cohere
import agentops
# 程序代码的开始 (如 main.py, __init__.py)
agentops.init(<在此插入您的 API 密钥>
<SOURCE_TEXT>
```python
# 不要这样使用 LiteLLM
# from litellm import completion
# ...
# response = completion(model="claude-3", messages=messages)
# 应该这样使用 LiteLLM
import litellm
...
response = litellm.completion(model="claude-3", messages=messages)
# 或者
response = await litellm.acompletion(model="claude-3", messages=messages)
LlamaIndex 🦙
(即将推出)
时间旅行调试 🔮
(即将推出!)
Agent Arena 🥊
(即将推出!)
评估路线图 🧭
平台 | 仪表盘 | 评估 |
---|---|---|
✅ Python SDK | ✅ 多会话和跨会话指标 | ✅ 自定义评估指标 |
🚧 评估生成器 API | ✅ 自定义事件标签跟踪 | 🔜 代理记分卡 |
✅ Javascript/Typescript SDK | ✅ 会话重播 | 🔜 评估游乐场+排行榜 |
调试路线图 🧭
性能测试 | 环境 | LLM 测试 | 推理和执行测试 |
---|---|---|---|
✅ 事件延迟分析 | 🔜 非静态环境测试 | 🔜 LLM 非确定性函数检测 | 🚧 无限循环和递归思维检测 |
✅ 代理工作流执行定价 | 🔜 多模态环境测试 | 🚧 令牌限制溢出标志 | 🔜 错误推理检测 |
🚧 成功验证器(外部) | 🔜 执行容器 | 🔜 上下文限制溢出标志 | 🔜 生成代码验证器 |
🔜 代理控制器/技能测试 | ✅ 蜜罐和提示注入检测(PromptArmor) | 🔜 API 账单跟踪 | 🔜 错误断点分析 |
🔜 信息上下文约束测试 | 🔜 反代理障碍(例如验证码) | 🔜 CI/CD 集成检查 | |
🔜 回归测试 | 🔜 多代理框架可视化 |
为什么选择 AgentOps? 🤔
没有合适的工具,AI 代理运行缓慢、成本高且不可靠。我们的使命是将您的代理从原型阶段推向生产。以下是 AgentOps 的优势:
- 全面的可观察性:跟踪您的 AI 代理的性能、用户交互和 API 使用情况。
- 实时监控:通过会话重播、指标和实时监控工具获取即时洞察。
- 成本控制:监控和管理您在 LLM 和 API 调用上的支出。
- 故障检测:快速识别并响应代理故障和多代理交互问题。
- 工具使用统计:通过详细分析了解您的代理如何使用外部工具。
- 会话范围内的指标:通过全面的统计数据全面了解您的代理会话。
AgentOps 专为简化代理的可观察性、测试和监控而设计。
星星历史
看看我们在社区中的成长:
使用 AgentOps 的热门项目
仓库 | 星标 |
---|---|
joaomdmoura / crewAI | 16888 |
superagent-ai / superagent | 4933 |
iyaja / llama-fs | 4507 |
MervinPraison / PraisonAI | 1015 |
AgentOps-AI / Jaiqu | 265 |
tonykipkemboi / youtube_yapper_trapper | 42 |
alejandro-ao / exa-crewai | 31 |
sethcoast / cover-letter-builder | 23 |
bhancockio / chatgpt4o-analysis | 16 |
使用 github-dependents-info 生成,由 Nicolas Vuillamy 提供 </SOURCE_TEXT>