MemGPT 使您可以轻松构建和部署支持以下功能的有状态 LLM 代理:
您还可以使用 MemGPT 将代理部署为一种服务。您可以使用 MemGPT 服务器在支持的 LLM 提供商之上运行多用户、多代理应用程序。
安装与设置
安装 MemGPT:
pip install -U pymemgpt
要使用 OpenAI 的 MemGPT,请将环境变量 OPENAI_API_KEY
设置为您的 OpenAI 密钥,然后运行:
memgpt quickstart --backend openai
要使用免费的托管端点,请运行:
memgpt quickstart --backend memgpt
如需更多高级配置选项或使用不同的 LLM 后端 或 本地 LLM,请运行 memgpt configure
。
快速入门(CLI)
您可以通过在 CLI 中运行 memgpt run
来创建和与 MemGPT 代理进行聊天。run
命令支持以下可选标志(请参见 CLI 文档 了解完整的标志列表):
--agent
:(字符串)要创建或继续聊天的代理名称。--first
:(字符串)允许用户发送第一条消息。--debug
:(布尔值)显示调试日志(默认值=False)--no-verify
:(布尔值)绕过消息验证(默认值=False)--yes
/-y
:(布尔值)跳过确认提示并使用默认值(默认值=False)
您可以在 CLI 文档 中查看可用的聊天命令列表(例如 /memory
,/exit
)。
开发者门户(Alpha 版)
MemGPT 提供了一个开发者门户,允许您轻松创建、编辑、监控和与您的 MemGPT 代理进行聊天。使用开发者门户的最简单方法是通过 docker 安装 MemGPT(见下方说明)。
快速入门(服务器)
选项 1(推荐):使用 docker compose 运行
- 在您的系统上安装 docker
- 克隆仓库:
git clone https://github.com/cpacker/MemGPT.git
- 将
.env.example
复制粘贴到.env
并可选修改 - 运行
docker compose up
- 在浏览器中访问
memgpt.localhost
查看开发者门户
选项 2:使用 CLI 运行:
- 运行
memgpt server
- 在浏览器中访问
localhost:8283
查看开发者门户
服务器运行后,您可以使用 Python 客户端 或 REST API 连接到 memgpt.localhost
(如果您使用 docker compose 运行)或 localhost:8283
(如果您使用 CLI 运行),以创建用户、代理等。该服务需要使用 MemGPT 管理员密码进行身份验证;该密码为 .env
中的 MEMGPT_SERVER_PASS
的值。
支持的端点与后端
MemGPT 设计为与模型和提供商无关。支持以下 LLM 和嵌入端点:
提供商 | LLM 端点 | 嵌入端点 |
---|---|---|
OpenAI | ✅ | ✅ |
Azure OpenAI | ✅ | ✅ |
Google AI (Gemini) | ✅ | ❌ |
Anthropic (Claude) | ✅ | ❌ |
Groq | ✅ (alpha release) | ❌ |
Cohere API | ✅ | ❌ |
vLLM | ✅ | ❌ |
Ollama | ✅ | ✅ |
LM Studio | ✅ | ❌ |
koboldcpp | ✅ | ❌ |
oobabooga web UI | ✅ | ❌ |
llama.cpp | ✅ | ❌ |
HuggingFace TEI | ❌ | ✅ |
当使用开放 LLM(例如从 HuggingFace 下载的模型)时,MemGPT 的性能将高度依赖于 LLM 的函数调用能力。您可以在 Discord 的 #model-chat 频道 和 此表格 中找到已知与 MemGPT 配合良好的 LLM/模型列表。
如何参与
- 为项目做贡献:有兴趣贡献?请先阅读我们的 贡献指南。
- 提问:加入我们的 Discord 社区 并将您的问题发送到
#support
频道。 - 报告问题或建议功能:有问题或功能请求?请通过我们的 GitHub 问题页面 提交。
- 探索路线图:想了解未来的发展?请查看并评论我们的 项目路线图。
- 基准测试性能:想基准测试某个模型在 MemGPT 上的性能?请按照我们的 基准测试指南 操作。
- 加入社区活动:请关注 MemGPT 活动日历 或关注我们的 Twitter 账户 以获取最新动态。
基准测试指南
要评估模型在 MemGPT 上的性能,只需使用 memgpt configure
配置相应的模型设置,然后通过 memgpt benchmark
启动基准测试。持续时间会根据您的硬件而有所不同。这将通过多次迭代运行预定义的提示集,以测试模型的函数调用能力。您可以通过 此表单 提交您的基准测试结果,帮助跟踪哪些 LLM 能与 MemGPT 配合良好,这些结果将用于更新电子表格。
法律声明
通过使用 MemGPT 和相关的 MemGPT 服务(例如 MemGPT 端点或托管服务),您同意我们的 [隐